ChatGPT有多疯狂?仅仅训练一次,就相当于120个美国家庭一年耗电
有人说,美国人总是在创新、中国人总是在应用。
还有人说,中国企业搞开发都是一开源就遥遥领先,ChatGPT这种革命性产品不可能诞生在中国。
事实真是如此吗?
星舰持有人埃隆·马斯克和ChatGPT所属公式OpenAI,二者皆出自美国
ChatGPT训练一次相当于120个美国家庭一年耗电
当你走进OpenAI的实验室,你会看到一排排高大的机柜,里面装满了闪耀着绿色光芒的芯片。这些是OpenAI购买的英伟达顶级AI芯片,价值几十亿人民币,其消耗的电力更是天文数字。这些芯片的数量之多,让人不禁感叹,ChatGPT背后需要的硬件条件之强大。
那么,这些昂贵的硬件和电力为什么如此重要呢?美国人在一个聊天机器人上投入如此巨大,又是为什么呢?
为了让ChatGPT可以发挥出最佳的性能,OpenAI购买了超过3万颗英伟达顶级AI芯片,每一颗芯片的价格都将近10万元人民币,仅这些芯片就相当于30亿人民币。这还不包括其他硬件设备和配件的费用!
为什么需要购买这么多芯片?这是因为ChatGPT需要大量的计算资源才能运行。每一次对话都需要进行大量的计算,包括自然语言处理、语义理解、逻辑推理等等,这些都需要海量的计算资源来完成。
而这些计算资源,就需要靠这些昂贵的芯片来支持。就好比小轿车和赛车,小轿车只需要一台普通的发动机就能跑起来,而赛车则需要高性能的引擎和配件才能达到极限速度。
但仅仅购买这些昂贵的芯片,还不足以支撑ChatGPT的运行。每个月,ChatGPT维持运转所需要的电费就相当于1000多万元人民币!这个数字让人瞠目结舌。要知道,这个数字相当于一家中型企业一个月的总收入。
这么高的电费,是怎么来的呢?首先,这些芯片需要大量的电能来运转。其次,为了保证计算的稳定性和可靠性,这些芯片需要保持在恒定的温度和湿度条件下,这同样需要大量的电能来维护。因此,每个月的电费就成了支撑ChatGPT运行的重要开销之一。
这还只是维持成本,训练成本就更让人咋舌了。根据2021年的一篇论文,在ChatGPT模型训练过程,所耗费的电量大约为129万度的电量,相当于120个美国家庭一年的用电量!相当于排放了502吨的碳,等同于110辆美国汽车一年的排放量。
当然,这只是训练模型的前期成本,实际上,模型的实际使用所消耗的电力只有前期成本的40%左右。但是随着AI模型变得越来越大,数据越来越多,它的能源消耗也在逐渐增加。
OpenAI的GPT-3使用了1750亿个参数或变量,而其前身仅使用了15亿个参数,可见能耗是以几何级数增长。而谷歌是另一个AI巨头,它的AI训练用电占该公司总用电量的10%至15%,每年耗电量达23亿度,相当于美国一个州首府所有家庭一年的用电量。
在国际碳排放背景下,ChatGPT对环境的影响也颇为引人关注。自2022年11月30日ChatGPT正式上线以来,其产生的碳排放量已超过814.61吨。美国人每年平均碳排放约为16.4吨,而丹麦人每年平均碳排放约为11吨。
由此可见,ChatGPT模型训练产生的碳排放量,相当于50个丹麦人一年的总排放。
付出这么多,美国人为何还要开发ChatGPT?
既然有这么多的付出,美国人开发ChatGPT是否值得呢?我们可以从 ChatGPT 带来的变革来看。它可以理解和模仿人类语言,可以进行自然的对话,提供准确的信息和建议。它可以在医疗、金融、教育等领域为人类服务,帮助人们更好地解决问题和提高效率。
更重要的是,ChatGPT 的出现推动了人工智能的发展,为我们提供了更多的可能性。它很可能即将为人类社会带来了深刻变革。正如火车、电力和互联网曾经引领过无数技术革新一样,ChatGPT所展示的潜力在各个领域都有可能引发新的变革。
在教育领域,ChatGPT成为一位智慧的教育家,与学生建立紧密联系,以个性化的方式引导他们探索知识的海洋。它为老师减轻了工作负担,让他们更专注于培养学生的综合能力。在很多人看来,ChatGPT正在引领一场教育革命,让教育变得更加人性化和高效。
科研领域,ChatGPT通过智能分析海量数据,帮助研究人员快速定位关键信息,推动科研创新。它不仅能自动总结研究报告,为研究人员提供宝贵参考,还能协助设计实验方案,预测实验结果,激发研究人员的想象力和创造力。
ChatGPT还能够为医生提供了分析病例、诊断和治疗的有效支持。它能够通过分析大量医学数据,给出更精确的诊断建议,提升医疗水平,改善患者的生活质量。此外,ChatGPT还能向医生推荐最新的医学研究和治疗方法,助力医学进步。
从这些例子中我们可以发现, ChatGPT或许会改变部分传统岗位的需求,特别是那些重复性劳动较多的工作。对于像中国这样基础教育占优势的国家,ChatGPT技术可能会是颠覆性的大杀器。
中国学生和美国学生就像正在参加一场知竞赛。两个选手都要回答同样的问题,但是你是依靠自己的大脑记忆,而美国选手则可以使用人工智能。结果,你不得不承认,你输了。这是因为人工智能可以比你更快地记住更多的知识,而且还能够准确地运用这些知识来回答问题。
顶尖围棋手柯洁对阵人工智能AlphaGo失败
所以,如果我们仍然坚持教育学生通过死记硬背和大量练习来掌握知识,那么人工智能很快就会替代我们的位置。正是因为这个原因,清华大学院长钱颖一教授才会说:未来的人工智能会让我们中国教育制度培养学生的优势荡然无存。
ChatGPT不出在中国,或许是一种幸运?
既然ChatGPT可能让全世界都为之疯狂。但为什么它没有在中国诞生呢?
前面提到,OpenAI使用了约1万颗英伟达GPU来训练GPT-3.5模型,这也是公认训练大模型的入场券。10亿美金的硬件成本,就像一个巨大的绝壁,让很多人望而却步。就像一只小鸟想要飞过这座绝壁,必须要有强壮的翅膀和充足的能量。
中国当然也有很多有钱的公司和机构,但能够拿出这么多资金投入这么一个聊天机器人项目的却寥寥无几。就像一座高山,需要攀登的人越多,就越容易有人成功登顶。美国有更多的公司愿意为ChatGPT这个项目投入资金,因此成功的概率也就更大。
但是,这并不意味着中国在AI领域的发展就落后于其他国家。相反,中国在人工智能领域也取得了很多的成就。就像一片充满生机的森林,每一个树木都有自己的价值和意义。
在中国投入ChatGPT这个项目的资金比美国少得多。这也许意味着,中国在AI领域会更加注重资源的合理利用和节能减排的问题。这也许是中国在人工智能领域的一种优势。
所以说,ChatGPT并没有在中国出现,这也许是一种幸运。
比如,百度文心一言已经完成了4次迭代,大模型推理成本降为原来的十分之一;阿里达摩院M6团队将万亿模型能耗降低超八成、效率提升近11倍。这些都是中国在人工智能领域取得的重要进展。
或许正是因为这个原因,李彦宏才会说:中国基本不会再出Openai了,没有必要再重新发明一遍轮子。
中国在人工智能领域发展的道路上,也许不同于其他国家,但是我们正在努力探索出适合我们国家的发展模式。我们相信,只要我们保持节能减排的理念,坚持科技创新,就一定能够实现人工智能与环境保护的双赢。
参考资料:
1 训练一次ChatGPT,折寿3000辆特斯拉. 虎嗅2 清华教授钱颖一:人工智能将使中国教育优势荡然无存. 中国教育网3 李彦宏:重做ChatGPT已没多大意义 不会写提示的人将被淘汰. 凤凰网
- 00:00-00:13:演讲者介绍了视频的主题,即对ChatGPT的人工智能硬件进行深入探讨。他们首先强调了ChatGPT令人印象深刻的能力,它是目前使用的最先进的人工智能模型之一。演讲者指出,ChatGPT是一个自然语言处理模型,能够对文本提示产生类似人类的反应。
- 00:13-00:14:发言人指出,ChatGPT是在微软的一台超级计算机上训练的,但所涉及的硬件的确切细节并不清楚。他们解释说,ChatGPT的训练过程可能涉及使用大量的CPU和GPU资源来处理和分析大量的文本数据。
- 00:14-00:16:发言人指出,虽然不知道用于训练ChatGPT的CPU核心的确切数量和CPU类型,但显然微软利用了大量的计算能力来训练该模型。他们解释说,训练过程的目标是使ChatGPT能够对各种各样的文本提示产生类似人类的反应,这需要大量的计算资源。
- 00:16-00:19:发言人指出,虽然ChatGPT是在微软的超级计算机上训练的,但它使用微软的Azure服务器进行推理。他们解释说,推理是使用训练好的模型来生成对文本提示的回应的过程,这个过程也需要大量的计算能力。演讲者指出,微软Azure服务器是为处理大规模人工智能工作负载而设计的,它们非常适合为ChatGPT运行推理的任务。
- 00:19-00:20:演讲者在视频的最后总结了介绍中涉及的关键点。他们指出,ChatGPT是目前使用的最先进的人工智能模型之一,它是在微软的超级计算机上使用大量的计算能力进行训练的。他们解释说,虽然所涉及的硬件的确切细节不为人知,但很明显,微软利用了大量的CPU和GPU资源来训练这个模型。最后,他们指出,虽然ChatGPT使用微软的Azure服务器进行推理,但在未来,对文本提示产生类似人类反应的过程可能会继续需要大量的计算能力。
深挖ChatGPT的硬件
大家好!在下面这个视频里,我们深入探讨了ChatGPT的人工智能硬件,提供了有价值的洞见,介绍了用于训练和运行ChatGPT推断的硬件。首先,我们聊了聊参与此过