马斯克要做比OpenAI更好的AI;大模型迎来产业拐点;把AI大模型装进手机还要多久丨AI新零售早报
原标题:马斯克要做比Open AI更好的AI;大模型迎来产业拐点;把AI大模型装进手机还要多久丨AI新零售早报
AI营销观察
《不要做 AI 应用!要设计自主智能体组织》
设计自主智能体要考虑智能体的认知能力、记忆结构等方面;设计模拟器要考虑环境的复杂度、多样性等方面。人类需要重新思考自己的角色和价值,软件需要从应用转向智能体和模拟器。(来源:任鑫这周读了啥微信公众号)
《马斯克:要做比OpenAI更好的AI|中企荐读》
马斯克认为人工智能是一个有潜力也有危险的技术,需要提前进行监管和安全保障。他认为Twitter是一个可以传播真相的平台,但是需要验证用户是否是人类,防止机器人操纵舆论;认为Twitter不需要那么多人运营,人少点反而效率更高。(来源:中国企业家杂志微信公众号)
大模型应用观察
《ChatGPT与人工智能时代:突破、风险与治理》
人工智能将带来新的工业革命和社会变革,人类将进入智能社会。人工智能将推动大脑和其他身体机能整合式扩展,形成智能社会。但人工智能会带来就业、社会分化、数据安全、算法偏见等问题,需要制定相应的政策和法规来监督和保障人工智能的安全和公平。(来源:东北师大学报哲学社会科学版微信公众号)
《从热潮到理性,大模型迎来产业「拐点」》
大模型市场从通用模型向产业模型转变,需要更多地关注产业数据、场景和价值。京东推出千亿级参数的新一代京东言犀大模型,围绕内容生成、人机对话等多种任务,实现基座模型+垂直领域模型精调,并且应用深入零售、物流、政务等垂直场景。京东以供应链为基础,打造具有产业厚度的大模型,并提出三步走战略。(来源:信息制胜 微信公众号)
《2B还是2C,大模型分歧已现?》
在大模型市场的选择上,国内企业有些选择2C赛道,如百度、阿里等,认为C端用户有更大的潜力和爆发力;有些选择2B赛道,如腾讯、华为等,认为B端用户有更快的回报和造血能力。中国企业在大模型发展上面临芯片算力问题,需要加快自主研发和突破。(来源:懂财帝微信公众号)
《把AI大模型装进手机,还要等多久?》
终端侧AI以终端AI和云端AI协同,结合场景需求,合理分配AI计算工作负载,发挥终端AI在成本、效率、隐私、安全、个性化、能耗等方面的诸多优势,形成互补。AI创新一是从基础研究到落地、产业合作,到再度助力研究的创新成果转化;二是从硬件、软件、算法层面形成端到端的全栈优化能力。(来源:MCA手机联盟 微信公众号)【完】
根据这一研究结果显示,按照OpenAI采用的服务器成本衡量和计费方式,让一个LLM处理一句缅甸掸语的句子需要198个词元(tokens),但同样的句子用英语写则只需17个词元。据统计,简体中文的训练费用大约是英语的两倍,西班牙语是英语的1.5倍,而缅甸的掸语则是英语的15倍。词元通常是指语料中文字存在的最小单位,但它的具体指代则是多变的,既可以是字、也可以是分词结果的词。
由于AI业界目前会使用词元来代表通过OpenAI或其他厂商API访问大模型所需的计算成本,所以也就意味着牛津大学的这项研究表明,英语才是目前训练大模型最便宜的语言,其他语言的成本则要大得多。
那么为什么会造成这一现象呢?用中文本身相比于英文更加复杂来解释显然并不科学,毕竟现代语言学是欧洲创建起来的,甚至现代汉语的语法分析原理也脱胎于西方的语法分析原理。
汉藏语系的语法结构与印欧语系相去甚远,参照印欧的屈折型语法来看以汉语为代表的孤立型语法,当然会觉得复杂。然而,词元(tokens)是以OpenA视角里中的训练成本来定义的,不是以字符来划分。而且,英文单词间是存在空格的,对英文文本处理时可以通过空格来切分单词。然而中文词之间不存在天然地空格,并且中文词是由多个字构成的,所以对于中文文本处理之前首先要进行分词。
真正导致用英文训练AI大模型成本更低的原因,是OpenAI等厂商的分词算法与英文以外其他语言的语义理解技术不到位有关。以OpenAI为例,作为一家美国公司,其团队在训练大模型时必然会选择以英语语料为起点,标注人工的投入显然也是英语系最方便,毕竟这会直接影响到大模型训练的强度和产出,也是为什么他们选择的人工标注团队在肯尼亚,而后者作为英联邦国家,以英语为官方语言、且教育水平较高。
AI理解不同语言不是通过翻译,而是直接学习相关语言的文本。那么AI大模型使用不同语言的能力差别又从何而来呢?答案是不同语言语料的丰富程度。此前百度的文心一言在内测过程中出现文生图不符实际的情况,就曾有主流观点认为,这是由于中文自然语言处理领域缺乏高质量中文语料所导致的结果。
而语料则是AI大模型的基础,生成式AI的原理大概可以总结为,通过大量的语料库进行训练,再从各种类型的反馈中进行流畅的学习,并根据需要对反馈进行整理,以建立相应的模型,从而使得AI能够对人类的问题做出相应的回答和决策。AI大模型之所以比以往的AI产品表现得更聪明,单纯是因为语料规模更大,比如OpenAI的GPT-3就拥有1750亿的参数量。
力大砖飞其实是当下大模型的底层逻辑,在这种情况下,语料基本就决定了它们的上限。语料肯定是越多越好,但如今的事实,却是英文才是目前互联网世界中使用人群规模最大、使用频率最高的语言。在去年6月,W3Techs又一次发布的全球互联网网页统计报告中就显示,英语仍一骑绝尘,占比高达六成(63.6%)以上,俄语为第二名(7%),中文则仅有1.3%、排名第八。
如今国内市场的百模大战正如火如荼,无论是BAT这样的传统豪强,还是美团、字节跳动这样的新兴巨头,乃至科大讯飞等传统AI厂商都已入局。但提到AI大模型,似乎大家还 5月,YMIR正式发布全新里程碑1.0版本,新增模型生产项目管理功能,并无缝对接开放免费的标注工具LabelFree。英文训练AI大模型比中文更便宜,为什么会这样?
零门槛开发AI模型!国际AI科学家联合开源算法训练平台YMIR