1987WEB视界-分享互联网热门产品和行业

您现在的位置是:首页 > 人工智能AI > 正文

人工智能AI

深度丨昂贵的ChatGPT背后

1987web2023-02-11人工智能AI162

作 者丨江月

编 辑丨陶力

当人们惊叹于ChatGPT的聪明时,不要忽略它的昂贵。这款应用的走红,正把科技投资推向更高的山峰,资金和智力还要更集中地涌向GPU等硬件赛道。由于大模型持续迭代升级、应用加速延伸以及云服务器急需扩容,AI芯片的掘金人正在聚集。

2月9日,21世纪经济报道记者在采访中了解到,ChatGPT的爆火令AI芯片开发者意识到,性能竞争还将向进一步白热化发展,昂贵的烙印越打越深,大语言模型的单次迭代硬件成本在突破3000万人民币水平后,还在向更高攀爬。在市场格局方面,狂热的市场可能会令海外垄断进一步加剧。

亦有国产GPU创业人士向记者表示,国产通用型GPU开发仍在继续,并希望借助此次产业链协同实现突破。

AI芯片加速研发

2022年11月30日上线的ChatGPT,于短短两个月内获得1亿用户,是芯片领域在2023年面临的第一个重要课题。记者从多家国产运算芯片开发商处了解到,芯片研发者正高度关注ChatGPT的市场吸引力,不少公司将其作为研究课题组织专门研究,以求及时把握相关商机。

ChatGPT应该是基于GPT-3下一代模型,也就是市面上传闻的GPT-3.5推出的。在一家知名国产GPU开发商担任产品经理的陆明向21世纪经济报道记者介绍,他近期致力于对ChatGPT的课题研究。

芯片研发商关注ChatGPT,既因为这可能会改变产品定义,也因为预期市场对AI芯片的采购会迎来增量。据介绍,ChatGPT的背后模型是GPT(Generative Pre-Training,生成式预训练模型),GPT这个名字展现了这款模型偏向生成文本和代码的属性。陆明指出,GPT至今已经公开了三次迭代,期间,由于GPU芯片的飞速发展,三次迭代之间具有时间短、性能增速快的特点。

细数之下,第一代GPT-1诞生于2018年6月,训练参数量为1.2亿个,数据库规模为5GB;仅时隔半年之后,第二代GPT-2诞生于2019年2月,训练参数量为15亿个,数据库规模为40GB;第三代GPT-3诞生于2020年5月,训练参数量飞跃至1750亿个,数据库规模达到45TB。可以看到,第三代模型较第二代的训练参数增长超过100倍,数据库规模则增长超过1000倍。

近年来,从AI方向切入GPU开发,成为了不少中外创业者的选择。无论是在美国还是中国市场,创业型GPU开发商往往能成为资本的宠儿。不过,由于科技巨头自从去年第四季度开始财务表现下滑,硬件行业投资也随之降温。不过2023年伊始,ChatGPT又给行业带来了新的话题。

眼下,ChatGPT的爆火正呼唤更强性能GPU的面世,而这将促使资金加快流入行业。下一代大模型的参数量和数据库规模,还将比上一代实现百倍、千倍的升级,这意味着如果底层的芯片性能止步不前,就会令训练时长长达几年,但显然业内需要在半年或一年内就推出下一代更强的模型。陆明称。

巨头林立成本高昂

眼下,无论是大语言模型开发还是底层芯片供应,市场主流玩家仍然是国际巨头。为了在格局演变中争夺优势地位,巨头公司的烧钱游戏越来越旺。

21世纪经济报道记者从接近美国GPU龙头开发商英伟达的人士了解到,该公司正是当前全球主流大语言模型开发者的主要芯片供应商。

英伟达正向全球主流的人工智能算法开发商提供芯片硬件,包括微软、谷歌、Meta等。产品迭代也在有序进行中,去年推出了最新的数据中心芯片,改善了架构。上述人士称。

近期,科技巨头争相涌入ChatGPT的竞争中,硝烟四起,但在上述人士眼中,眼下人工智能研究市场上的各大巨头此前维持着强合作关系。以在外界眼中正在打架的谷歌和微软为例,两者事实上都基于谷歌的Transformer架构进行大模型开发。不过在差异性的应用展开后,竞争可能会升级。该人士评价称。

想要留在ChatGPT战场上,意味着更大规模的烧钱。据业内估算,大语言模型的单次训练硬件成本已经突破3000万元人民币,加上投入的人力、智力、训练时间成本,各大巨头需要准备百亿美元,直到真正的市场赢家胜出。

据Lambda Labs首席科学官Chuan Li介绍,拥有1750亿个参数的GPT-3因其巨大的每秒浮点计算量,单次训练成本达到460万美元。陆明也向记者证实,眼下最主流的英伟达A100芯片,单次训练的使用量应达到数百片,成本在3000万元人民币左右。此外,服务器扩容和硬件升级的成本也将占据相当大的比例,一方面,自从2月7日开始,ChatGPT因访问量巨大,回复速度已经大大减慢,另一方面,维护GPU芯片的成本也非常高,芯片使用是有寿命的,损耗几次就要另作他用。陆明称。

以上还仅仅是大语言模型训练的非人工成本,更大的成本集中在人力上。迭代模型的间隔已经缩短到半年,招募人才、改善算法的投资会持续高昂。陆明称。

今年1月23日,微软宣布将向ChatGPT开发商OpenAI追加数百亿美元的投资,令人们觉得这些资金将涌向语言类机器人。不过,OpenAI不仅是ChatGPT的开发商,旗下也拥有图形人工智能"明星"产品DALL·E。业内相信,微软将分数年、数批向ChatGPT进行后续投资,但这个领域的弹药储备提升到百亿美元已是不争事实。

中国玩家如何参与

短短几日,多家中国公司宣布加入ChatGPT战场。

中国的自主研发芯片将面临怎样的机会?市场分析认为,国产运算类芯片仍然面临严峻的发展阻挠,但商业化前景得到进一步验证,仍是芯片开发者的好消息。

其中,百度和阿里计划推出生成式语言机器人应用,而京东计划将在电子商务客服中应用相关技术。据悉,有道AI技术团队已投入到ChatGPT同源技术(AIGC)在教育场景的落地研发中,目前该团队已在AI口语老师、中文作文批改等细分学习场景中尝试应用。该公司内部人士表示,这次技术更新是一次颠覆性的创新,但在细分场景的应用过程中实际上并不需要这样一个大而全的模型,更需要一些纵深向的探索。

不少市场分析认为,中国互联网公司拥有海量数据,这是进行自然语言开发的优势。不过,关心中国科技自主创新的人士有更强烈的心声:期待这个科技爆点在中国形成更长的产业链闭环。

海银资本创始合伙人王煜全在2月7日发声称,中国不仅需要产生自主大模型,也应当在人工智能上进行芯片技术的弯道超车。

数位从事国产GPU开发的人士向21世纪经济报道记者表示,在ChatGPT爆火的开端,国外芯片开发商仍然具有巨大的优势,而中国芯片开发商面临着巨大的阻力,这是由历史技术积淀、市场关系和外部环境共同造成的。

不过,王煜全认为,在系统芯片异构计算时代,能够号召拥有数据的机构参与预训练,然后与拥有芯片计算架构的公司深度合作,这样芯片的制造水平未必是最好,但芯片训练的模型是最好的。他在采访中建议,芯片企业、人工智能企业和应用企业三方应加强合作。

这意味着,身处人工智能落地的巨大市场、拥有本土算法公司的产业链网络,国产芯片厂商仍拥有AI芯片的入场券。

(应受访者要求,陆明为化名)

E N D

本期编辑 林海铭 实习生向添雨

  • ChatGPT火出圈:

AI怎么看AI?我们和ChatGPT聊了聊

如果ChatGPT进入金融圈,最有可能会在哪些岗位?

深交所紧急发函!ChatGPT成多公司翻身密码?

入局人机对话,腾讯、阿里、华为统统出手!

知名电商宣布入局ChatGPT,股价飙涨124%

ChatGPT爆火,翻倍牛股紧急公告!

ChatGPT已引起监管警惕

ChatGPT风口A股镜像

ChatGPT崛起AI觉醒,产业颠覆资本扰动

ChatGPT商标被多个公司抢注

目前处于内测阶段,阿里确认