进入2023年以来，ChatGPT大火。朋友圈里充斥着关于ChatGPT的各种消息，从GPT-1到GPT 3.5，再到Chat GPT和GPT-4，从OpenAI和微软到各种ChatGPT创业和项目，仿佛一夜之间跨入了人工智能新基建时代。那么，对于普通老百姓和超级繁忙的职场人来说，都有哪些关于ChatGPT的知识点，需要掌握呢？

ChatGPT是什么？

本质上来说，ChatGPT是一种面向NLP自然语言理解的预训练大模型。NLP自然语言理解就是让计算机理解人类的语言，而不是理解程序代码或0101二进制代码。之前，一个神经元网络程序只能解决一个NLP自然语言理解的问题或任务。因此，就需要为每一个自然语言理解问题或任务而定制一个神经元网络程序。预训练大模型的出现，改变了这一格局。

预训练大模型用一个超大规模的神经元网络表达自然语言中的通用知识，而针对每一个特定的自然语言理解问题或任务，只需要在预训练大模型的基础上进行微调/精调，就能够很好地解决相应的问题或任务，这就是预训练大模型的价值。简单理解，就是将之前的一个神经元网络拆解为预训练大模型+微调/精调方法，从而轻松适配不同的NLP任务。

对于用户来说，不需要为了自己的NLP需求，例如开发一个客服机器人，而要从头开始开发一个完整的人工智能程序，用户只需要在大模型的基础上针对本企业/行业特点进行微调/精调，即可很快获得一个适合本企业/行业的客服机器人——面向金融行业的客服机器人要加上金融行业的知识、业务和术语，面向某地区银行的客服机器人还要加上当地的知识、业务和术语，甚至文化与方言等等。

当然，预训练大模型相当于学习人类的知识，例如语言类预训练大模型就在学习人类的语言和知识，那么就跟课本知识一样有时效。ChatGPT的人类语言知识截止到2021年，也就是说ChatGPT并不具备2021年以后的人类语言知识，例如播放于2023年的电视剧《狂飙》，ChatGPT就毫不知晓。因此有网友问关于《狂飙》的知识，ChatGPT就无法回答。

众所周知，ChatGPT基于GPT-3.5，相比于GPT-1、GPT-2、GPT-3等前代大模型，ChatGPT加入了生成式AI算法，让ChatGPT对外输出能力有了质的飞跃，ChatGPT不仅具备了海量人类语言知识，也能与人类进行各种聊天和对话。因此，ChatGPT对外又以API和聊天机器人的方式提供服务，例如微软将ChatGPT嵌入到搜索引擎中成为对话机器人，OpenAI也通过互联网直接对外提供ChatGPT对话以及接入ChatGPT API。因此，ChatGPT也代表了基于ChatGPT大模型的聊天机器人、API以及相关互联网和云服务。

ChatGPT为什么与众不同？

ChatGPT之所以大火，因为它走了生成式AI这个方向。人工智能是一个庞大的领域，其中包括了很多算法的交叉使用，基于深度神经元网络的机器学习是人工智能的一个重要方向。神经元网络算法的组成部分主要就是参数，所谓参数主要指的是每层神经元网络的节点和节点与节点之间的权重连接，当然不同神经元网络引入了不同的算法组合，也具有更多的参数。所谓大模型，指的就是具有百亿、千亿级参数的模型。

在人工智能处理的任务方向上，有决策式AI与生成式AI两种。在ChatGPT之前，决策式AI是主要的AI任务方向。所谓决策式AI，也就是回答选择题。无论是赢了电视问答边缘游戏的IBM深蓝，还是战胜了人类围棋冠军的AlphaGo，本质上都是在做选择，也就是DeepQA问答机器人。目前，众多的人工智能应用都属于问答机器人，包括Siri、Cortana、Alexa、小艾、小度等。

生成式AI是另一个人工智能任务方向，也就是大家所期待的聊天机器人。此前，很多问答机器人都被标榜为聊天机器人，但实际上都被诟病为人工智障。ChatGPT的出现，让人们看到了真正实现聊天机器人的可能。在ChatGPT中引入了新的AI算法，包括情景学习、思维链、自然指令学习、指示学习等，这些新算法的引入让ChatGPT走上了新道路，不仅能够与人类展开真正的对话，还能生成各种高质量的内容，例如撰写新闻稿等。

读者可能会问，为什么之前不引入这些算法。一个很重要的原因是，对于亿级参数的AI模型进行训练，是一个极耗时间和算力等成本的工作，无论是高校研究员还是企业研发人员，都面临着选择：一旦选择了一个算法方法，就只能一直在这个方向上投入下去，而切换算法或新增算法的成本和代价将非常高。

什么是生成式AI？

生成式AI是一个人工智能算法的方向。简单理解，生成式AI就是在已有数据和内容的基础上，产生新的数据和内容甚至是超出预期的内容。生成式AI一直是人工智能所渴望的地平线，就像众多人工智能主题相关电影一样，机器人能够自主与人类进行创造性对话，甚至代替人类进行创造性的活动，例如创作小说、歌曲、绘画等等。当然，在商业社会中，生成式AI被用于创造更具商业价值的内容，如会议纪要、撰写商业稿件、生成商用图像等。

在ChatGPT之前，也存在着其它生成式AI算法，比如面向无监督学习的生成对抗网络（GAN）就非常流行。与ChatGPT相比，GAN等代表了早期生成式AI算法。ChatGPT的出现，可以说是生成式AI的分水岭。实际上，在ChatGPT之前，还有IBM、小冰等公司分别尝试了生成式AI方向，各自推出了具有令人惊讶的生成式AI机器人，例如IBM辩论机器人Project Debater和小冰聊天机器人等。不过，根据已经披露的信息，IBM和小冰等公司采取的是不同于大规模预训练模型的算法。

ChatGPT代表的是由大规模预训练模型所驱动的生成式AI。大规模预训练模型的意义在于其通用性，也就是基于GPT的大模型所代表的通用AI能力以及存储于大模型中的人类通用知识，再加上ChatGPT的情景学习、思维链、自然指令学习等新兴算法，生成式AI就有可能进入大规模商用，并进一步从文本生成泛化到图像和视频生成等，这就是ChatGPT的意义。

这里需要提及一下由谷歌学者于2022年提出的思维链（Chain of Thoughts，COT）。简单理解，思维链就是一系列中间推理步骤，即在采用大型预训练模型进行推理任务的时候，先生成思维链，从而使得模型的推理性能获得大幅度提升。这就是众多ChatGPT令人惊艳之处之一，思维链的一大好处是无需微调模型参数，就可以显著改进模型的性能。

ChatGPT与OpenAI及其产品家族的关系是什么？

ChatGPT是OpenAI GPT-3.5的改进版本之一。OpenAI成立于2015年，创始人为一些科技领袖，包括特斯拉创始人埃隆·马斯克（Elon Musk）、美国创业孵化器Y Combinator总裁山姆·阿尔特曼（Sam Altman）、在线支付平台PayPal联合创始人彼得·蒂尔（Perter Thiel）等。OpenAI最初的创立宗旨是实现安全的通用人工智能，如今OpenAI的宗旨是确保通用人工智能让所有人受益。

如今，OpenAI主要有三条产品线：GPT、DALL-E和Whisper。其中，GPT是面向自然语言预训练大模型；DALL-E基于GPT-3，可以通过自然语言生成图像；Whisper是一个自动语音识别模型。最著名的当然是GPT系列产品，包括GPT、GPT-2、GPT-3、GPT-3.5/ChatGPT、GPT-4等。GPT全称为Generative Pre-training Transformer，简单理解就是生成式预训练Transformer模型。

大名鼎鼎的Transformer模型是由谷歌于2017年推出的开源机器翻译模型，后也被广泛用于各NLP领域。相比于之前流行的RNN、CNN神经网络算法，Transformer的最大优点就是实现了并行计算，特别适应以云计算为代表的分布式共享计算基础设施。谷歌当初开发Transformer的一个初衷就是为了适配谷歌Cloud TPU，因此Transformer的流行也就在情理之中了。在Transformer的基础上，涌现了大量新型算法，特别是为大模型奠定了基础。

GPT-2就是在Transformer基础之上的大模型。GPT-1为亿级参数，GPT-2为15亿级参数，GPT-3为1750亿级参数。GPT-3.5又有多个版本，包括具有13亿参数的InstructGPT、1750亿参数的ChatGPT和60亿参数的Codex（用于代码生成），以及GPT-3.5 Turbo。其中，最为著名的是InstructGPT和ChatGPT，二者还在训练数据集上有所不同。当ChatGPT大获成功后，OpenAI又将集大成的GPT-3.5 Turbo接入ChatGPT API，成本更低、速度更快、功能更全，不仅能生成对话还能生成代码。

与GPT系列不同，InstructGPT和ChatGPT引入了人类反馈，也就是基于人类反馈的增强学习。InstructGPT和ChatGPT还引入了人类数据标注员，用人工的方式对模型进行精调。这些反馈都让模型的输出结果向着人类期望的访发展，这就是ChatGPT能够惊艳全球的重要原因。GPT-4进一步实现了多模态的融合，也就是可以识别图像，然后再进行自然语言处理任务，例如给GPT-4模型一个冰箱内部图片并问GPT-4晚上吃什么，GPT-4就能识别冰箱内部食物并给出晚餐建议。

虽然OpenAI名为Open，但实际上OpenAI已经不是一家开放或开源公司了，因为大模型的训练和运维成本极为昂贵，OpenAI不得不走上了封闭式盈利公司的模式。特别是到了GPT-4，OpenAI不再公布GPT-4的模型参数数量及机理等，外界也无从得知GPT-4的更多具体细节。总体来看，OpenAI打开了AI历史的新一页，这就是预训练大模型的时代，同时OpenAI也验证了大模型的价值：涌现性，即模型越大、参数越多，就越能表现出超出人们想像的智能水平，实现模型能力的质的飞跃。

ChatGPT有多贵？

ChatGPT惊艳了全世界了，也激发了新一轮AI创业热潮。但对标ChatGPT的创业成本也极其高——高达5000万美元的起步费。与其说ChatGPT是一种AI软件，不如说是货真价实的新基建。对于国家来说，ChatGPT更是战略性的国家资源，甚至是国家级战略方向以及必须要投资的基建领域。在未来，ChatGPT及其后续版本，有可能成为大国之间的新竞争优势。

那么，ChatGPT究竟有多贵呢？公开的资料显示，ChatGPT的参数高达1750亿，预训练数据集高达45TB，而GPT-1的参数量为1.17亿、预训练数据量约5GB，GPT-2的参数量为15亿、预训练数据量为40GB。可见，ChatGPT是一个全面的飞跃，训练一次ChatGPT所需算力高达3640 PFlop/s-day，即假设每秒计算一千万亿次，也需要计算3640天，相应ChatGPT训练一次的费用估计高达约450万美元。

有关的测算还有： ChatGPT单月运营所需算力约 4874.4PFlop/s-day，全年则需要58.5EFlop，如果使用算力500P常规数据中心运行ChatGPT，至少需要10个这样的数据中心，按30亿元成本建设一个这样的数据中心计算，总投资高达200-300亿元；NVIDIA估算，如果要训练GPT-3，用8张V100的显卡，训练时长预计要36年，如果用1024张80GB A100则可将时长缩减到1个月，成本高达1.5亿美元，NVIDIA还测试用3072张80GB A100训练 GPT，最大规模的模型参数量达到了1TB，而3072张A100卡的成本高达5亿美元；另有证券公司估算，大模型的训练成本介于200万美元至1200万美元之间，以ChatGPT月独立访客平均1300万计，对应需要3万多张A100 GPU，初始投入成本约为8亿美元，每日电费5万美元左右；OpenAI的重要投资者及战略合作伙伴微软在自己的Azure全球基础设施中，为OpenAI构建了一个庞大的GPU资源池，由上千张GPU构成。

由ChatGPT的开发和运营成本，可以看出大模型是一个极为烧钱的投资，而且在短时间内也很难看到规模化经济效益，更难达到盈亏平衡。这就是为什么很多公司都声称开发出了自己的大模型，但真正投入运营的却只有OpenAI一家（微软向OpenAI先后投资超过百亿美元）。2023年初，百度发布了中国版ChatGPT即文心一言，首批只开放给企业试用，而面向普通个人用户则预计要到2023年底开放，这在很大程度上也是成本和效益的考量。

微软与ChatGPT是什么关系？

微软是OpenAI的早期支持者之一，2019年向OpenAI投资了10亿美元，2021年再次投资20亿美元，2023年进一步承诺向OpenAI投资100亿美元，用于支持OpenAI的研发。作为人工智能云技术的坚定支持者，微软一直关注AI领域的技术进展，自身也向AI研发投入了大量资源。自OpenAI成立之初，微软就密切关注OpenAI的进展。

2019年，微软向OpenAI投资10亿美元，同时承诺为OpenAI建造一个可供大模型训练和运行的超级AI计算机。这是一项前所未有的挑战，此前也没有任何一家技术公司进行过类似的尝试。训练和运行大模型需要面向GPU的大规模并行计算，而不是已有的面向CPU的大规模并行计算。如何将成千上万张GPU卡连接在一起，完成大模型所需要的并行计算，这需要对硬件、网络和软件等多方面改造甚至是重新设计，微软率先进行了这方面的尝试。

2023年开始，微软将OpenAI技术大规模纳入到了自己的产品和服务中。2022年推出Github Copilt，2023年推出Dynamics 365 Copilot、Microsoft 365 Copilot等，直接将GPT/ChatGPT的超强人工智能体验推向了最广大的普通用户。特别是Microsoft 365 Copilot和New Bing将GPT/ChatGPT的技术嵌入到Office办公软件和Bing搜索引擎中，引起了极大的关注。微软还通过Azure智能云，向全球提供OpenAI服务，包括GPT、DALL-E等。

什么是大模型的涌现性？

说到大模型，就必须提到大模型的涌现性。在GPT-1和GPT-2阶段，模型的参数还只有亿级和十亿级，业界对于模型参数越大的价值，仍然存疑。实际上，从GPT-1到GPT-4，模型本身并没有太多的变化，主要是参数规模从亿级飞跃到千亿甚至万亿级。而ChatGPT向人们展示了，千亿级超大规模模型的价值：涌现性。

所谓涌现性，就是当全部人类的知识被存储在千亿级大模型中、这些知识被动态连接起来的时候，大模型所具有的智能就显现了远超出人们预期的效果。众所周知，从GPT到ChatGPT大模型，所采用的预训练数据主要来自互联网，那么当一个超大规模AI模型学习了所有互联网数据后，这样一个AI模型的智慧程度就出现了涌现现象。例如，ChatGPT可以写出具有相当专业水准的商业文案、能够创作诗歌和文学作品、能够与人类进行哲学层面的对话等。在GPT-4发布后，相继有测试表明，GPT-4可以轻松通过律师资格考试、会计师考试、大学入学考试等，甚至能够达到满分或近于满分的成绩。有报道称，美国大学生用ChatGPT撰写了高质量的论文，被教授用ChatGPT反向查出来该论文为ChatGPT撰写。

ChatGPT还能够进行高质量的编程。自2022年微软推出基于GPT/ChatGPT技术的Github Copilot以来，Github上数以百万计的程序员体会了人工智能编程的高质量和高效率。前OpenAI和特斯拉AI总监Andrej Karpathy（2023年2月宣布再次加入OpenAI）在2023年初发布推特称，他现在80%的代码都是由Github Copilot自动生成。搜索引擎New Bing可以直接把一段Python代码转换为Rust代码，用户只需要在Edge浏览器中使用Bing，拷贝Python代码并输入使用Rust语言重写这段代码，即可自动生成高质量的Rust代码。

业界专家认为，通过同时增大计算量、数据量和模型参数规模，模型性能或许能够无上限提高，也就是将人类的知识、思考和记忆能力等都连接在一起后，就能出现进化的奇点——智慧水平无限提升。

还有哪些大模型？

从NLP模型到（超）大模型，模型参数量级一路飙升到百亿、千亿甚至万亿级，很多科技公司都加入到了大模型和超大模型的战备竞争中。说到战备，实际上是因为大模型和超大模型的训练和运营成本十分高昂，属于极为烧钱的项目，而又难以在短时间内看到明确的商业回报，以至于几乎没有一家商业公司肯向大模型和超大模型进行实际的投资。OpenAI在前期作为一家公益机构，又获得了微软的数十亿美元投资，才成就了ChatGPT。

自从谷歌推出Transformer以来，很多科技公司都基于Transfomer推出了自己的NLP（超）大模型。除了OpenAI外，还有微软推出的具有170亿参数的Turing- NLG、谷歌推出的具有1.6万亿参数的Switch-C和具有5400亿参数的PaLM以及具有4800亿参数的Bert、英伟达推出的具有5300亿参数的Magatron-Turing NLG，Meta发布的具有70亿、130亿、330亿和650亿参数规模的LLaMA，以及百度推出的具有2600亿参数的文心ERNIE 3.0、腾讯推出的具有万亿参数的混元NLP、阿里推出的具有270亿参数的PLUG、华为推出的具有2000亿参数的盘古语义、浪潮推出的具有2457亿参数的源1.0、复旦大学推出的具有百亿级别参数的Moss等等。