惊叹！ChatGPT训练1次居然要烧掉这么多钱
墨算未来
墨科技演进，算未来气象
刷新
随着 ChatGPT技术的普及， OpenAI在世界上掀起了一股大规模数据建模的热潮。但他们很快就意识到，这只是一个庞然大物的博弈，拼的就是能耗。
吴军，一位著名的电脑专家，对此没有任何夸大之处，他说：ChatGPT每训练一次，就可以让3000台特斯拉的电动车跑20万英里，也就是32.19万公里。一般的家庭轿车平均每年大约能跑15,000公里，那么 ChatGPT每次训练所消耗的能量，等于3000台特斯拉在一个月内跑了21年。
哪怕是那些想要尝试大模型，想要带资入组的大佬们，也要好好考虑一下，自己口袋里的钱，能花多久？
去年，OpenAI总共花费了5.44亿美金。GPT-3的单个训练费用估计为140万美金，而某些较大的LLM （大型语言模型）则在2百万到1200万美金之间。
华为 AI首席专家日前在一次 AI大模型技术研讨会上指出，大模型的训练费用中，有60%是用电费用，这一点已经刻不容缓。
OpenAI的 CEO山姆•奥特曼在一次公共访谈中说，GPT-3的参数量是1750亿。与GTP-3相比，最新公布的GTP-4参数数目增加了20倍，计算量增加了10倍。GTP-5最早在2024年底推出，届时参数量将会是GTP-3的100倍，而计算量也会增加到200-400倍。
据斯坦福大学人工智能研究院（Stanford Automatic Institute，简称 HAI）公布的《2023年人工智能指数报告》显示，对类似于 OpenAI的GPT-3等 AI算法进行训练，所需要耗费的能源，足以支撑一个美国家庭几百年的能耗。GPT-3是公认的电老虎，耗电达到了1287兆瓦。
有数据表明，ChatGPT的运算能力总消耗在3640PF每天，这样的计算能力将需要7-8个拥有30亿运算能力的数据中心来支持。根据一家名为 Semi分析的半导体产业数据公司的估计，如果一个芯片 GPT想要完全承载谷歌的搜索流量，那么它将需要410万张英伟达A100 GPU。
当前，微软公司已经在超过60个Azure的数据中心上部署了数十万个 GPU，这些 GPU将为 ChatGPT的计算提供强大的计算能力。微软作为OpenAI的最大投资者，获得了对云计算的独家支持，并且已经开始了对下一代人工智能的研发，而这一次，他们将会引入数万张英伟达A100 GPU，以及新一代H100 GPU。
如此庞大的计算能力，让业界的高手们都为之惊叹，觉得这是何等的疯狂。
而现在，即便是马斯克这位曾经提出过要叫停大型模研发计划的人，此刻都已经开始着手准备，要打造一个推特版的 ChatGPT出来。
据美国《商业内幕》杂志消息，马斯克为 Twitter提供了1万个 GPU，以增强 Twitter的搜索能力，同时也为它的广告业务注入新的活力，这将是一个巨大的人工智能模型，以及海量的数据。
阅读原文，了解更多
导读：GPT系列模型是ChatGPT的发展基石，每一个新版本都在前一个版本的基础上有所提升，让我们一起探索ChatGPT的精彩历程，回顾它从诞生到现在的发展历史。
试想一下，有一个人工智能能够用你的语言和你交流——不只是掌握你的词汇和语法，还能理解你的语境、微妙之处，甚至你的幽默感。
这不是一个遥不可及的梦想——这就是ChatGPT的魅力。
ChatGPT是一个人工智能聊天机器人，这个聊天机器人颠覆了人工智能的界限，展示了机器能够学习人类语言和互动的复杂性。
ChatGPT：如何用三年时间创造一个改变世界的人工智能聊天机器人
ChatGPT的火爆，来看科大讯飞的应变和计划
周期是人类社会中最为简单的内核规律。直到18世纪中期，亚当斯密的《国富论》才揭开了古典经济学的以降，人们越渐掌握了现代经济学的理论工具，并用来解构世界，在此过程