ChatGPT预训练数据来源有哪些?
今天看了扇贝编程,对ChatGPT提了2个问题:
今天看了扇贝编程,对ChatGPT提了2个问题:
1.询问数据来源:ChatGPT 预训练数据来源有哪些?
2.询问时效性:你当下使用的模型是什么版本?最新数据截止到什么时候?
【它的回答,看截图】——
【笔记】:
ChatGPT对世界新闻的认知停留在2021年,因为机器只有程序员运行训练模型程序时才学习,一旦训练完毕,模型及模型中储存的知识也就被固化了。而抛开时效性内容,ChatGPT自身掌握了不少人类知识精华,它的预训练数据包含几十万本图书,以及维基百科全部数据。
我们也可以把新知识写进提示词里,ChatGPT会在提示词基础上做阅读理解,它会在短期内掌握某种知识。