国内那么多AI专业,为什么国内没有ChatGPT?
不止国内没有,其他国家也没有,美国的一众大公司包括google也落后于openai。
为什么呢?
不要用国家的眼光来看待这件事!
OpenAI集合了全世界最顶尖的人才!而首席科学家Ilya Sutskever就是OpenAI的灵魂人物!他是什么人?深度学习教父Hinton的学生,AlexNet的作者,本身就是深度学习革命的开创者,拥有最强的远见力和最坚定的深度学习信仰!(对了,他1986年出生于俄罗斯,加拿大籍)
想想自己两年前GPT还没出来时,还觉得要让神经网络学会推理可能做不到,需要考虑neural symbolic的方法,即将连接主义和符号主义结合。后来当然很快就放弃了这个思路,但仍然认为神经网络无法真正解决ood (out of distribution)的问题。
而事实上,解决ood之前先把数据的distribution搞的足够大更重要,gpt便是如此,然后颠覆了我的认知,从而自己也更加坚定深度学习纯连接主义这条路。
回到OpenAI上,可以说没有Ilya,就不可能有这些革命性的进展。为什么Ilya的认知最强,因为早年Seq2Seq也是他搞出来的,所以当google把transformer搞出来时,他的嗅觉是最灵敏的,就知道这东西能解决LSTM存在的记忆问题,从而能够scale。而大部分的我们看到transformer并不会产生这种认知!而ChatGPT如果你看基本原理和之前的OpenAI Dota Five,Alphastar没有本质区别,都是先监督学习再强化学习,只是场景变了,变成语言通用场景了。单单这个认知也是太强了!
所以,在思考为什么国内出不来ChatGPT的时候,我们应该从第一性原理上去思考为什么我们没有在第一时间想到Ilya的想法,然后去想想我们和他的认知差距在哪里,为什么会有这种差距,及最终的我们怎么弥补这些差距!
老实说,这种差距目前是无法弥补的,因为一个人只有做出最顶级的成果才有可能成为资本宠儿。但国内就没有这么顶级的人,深度学习发展这么久,华人作出的最顶级成果是resnet,然后就没有了。我们只能好好努力,提升认知,争取在未来抓住新的机会!
从学术科研上,LLM based Agent是大趋势,即把llm当agent去使用,但又有多少人愿意破釜沉舟其他不干了就转过来干这个呢?
从技术发展看,Multi-Modal GPT的出现是必然的,大厂及有钱的科研机构还是应该去搏一搏的。
总之,AGI is coming!大家加油罗