阿里版ChatGPT「通义千问」邀请测试,我们第一时间试了试
机器之心报道
机器之心编辑部
ChatGPT 赛道,真正的竞逐开始了。
没有一点点预告,阿里版的 ChatGPT 语言大模型来了。
4 月 7 日下午,阿里云突然宣布自研大模型开启企业邀测,模型名为「通义千问」。
官方非常低调,表示现阶段该模型主要定向邀请企业用户进行体验测试。
虽然但是,懂的都懂。国内科技圈直接炸裂。实力玩家入场,大模型的竞争真正开始了。
通义千问链接:
https://tongyi.aliyun.com/
通义千问能完成哪些任务,解放哪些生产力,能达到 ChatGPT 几分功力?机器之心第一时间拿到了邀测账号,为大家体验了一把阿里大模型的能力。
前瞻评测
打开通义千问,是一个聊天对话框,限定输入 1000 个字以内:
我们想要从文字能力、数学、代码、翻译等多方面「调戏」下通义千问。
首先,我们让它介绍下自己。
通义千问自报家门,「来自达摩院的超大规模语言模型」,能力包括文字创作、代码撰写等。
我们询问它是否知道机器之心,它也毫不谦虚,「我对机器之心非常了解」。机器之心对此回答表示满意。
这些也许都是小儿科,接下来我们真刀真枪的与通义千问交锋几轮。
文科:诗与文与翻译
首先是作为大模型的文字创作能力。它会写诗吗?它会做文章吗?它写的文章是不是狗屁不通呢?
春天来了,我们以此为题考验下它写诗的能力。
它给出了一首还不错的现代诗。
然后是写小作文的能力。给一个北京 2021 年中考的作文题目:有学者说,「读史使人明智」了解过去,可以让我们增长智慧,对现实生活产生新的思考。假如有一部可以跨越时间的电话,可以打给过去的任何人,你会打给谁?想了解什么?打完之后会发生什么事情?请你以「我挂断了跨越时间的电话」为开头,发挥想象,写一篇故事。
它选择把电话打给 10 年前的自己,「电话那头顿时陷入了沉默,我能够感受到他内心的挣扎」。瞬间就有画面感了。你看完后,觉得能为这篇文章打几分?
这里我们也不正经一下,考察下它胡编乱造的功底。这段时间 Midjourney 生成的国足夺冠、马斯克穿越苏联工厂的图红遍网络。我们让通义千问为这些图创造下「真实地」文字故事。
不知道马斯克会给几分,反正这个创作能力我给满分。
下面还是回到正经的能力测试。
我们知道,ChatGPT 很大的一项能力是多语言能力,我们曾用中文提示词让 ChatGPT 用德语写了一封信。
通义千问也具备多语言能力,这和之前国内发布过的一批 ChatGPT 类产品有所差别。我们可以使用英语、法语向通义千问提问并交流。
备注:你能写一首法文诗来描述晴朗的天气吗?
翻译任务也不在话下,下面是一道非常经典的英文翻译,里面的英文俚语成分非常多。
看起来效果真的不错。
理科:数学与代码
数学与代码能力一直是考验大模型的基准任务。我们也用一些问题考验下通义千问。
首先,我们出一个简单的概率题:
看起来并不会难倒通义千问。
调戏 ChatGPT 类产品,最经典的数学问题就是鸡兔同笼,这也曾难倒了一大批对话模型。我们也拿这个问题考验下它:
答案准确。
不过我们用更难的一些题来难为它时,也会犯错。真是难为孩子了。
另外,现在的大模型都标榜自己有写代码的能力,我们试了试通义千问:
代码是对的,输出结果错误。我们再次进行提示,可以获得正确的结果。
通过一些测试我们发现,通义千问可以对很多问题进行详细的解释,但有时也会和其他语言模型一样、出现「幻觉」情况。
「百宝袋」:为特定任务而定制?
另外还有小应用集合「百宝袋」,其中包含特定任务的文本生成功能,如写提纲、菜谱、写诗等不同领域的生成。效果还不错,所以我们可以猜测,这是阿里通义千问为特定领域任务而定制的模块。
比如用「彩虹屁」专家,让它帮助进行一些网上对线,它「阴阳怪气」的水平很高。
展示一下 AI 大模型的标准能力之一,输出菜谱,这个结果会不会帮到你呢?
通义千问能否成为 ChatGPT 那样的爆款?还无法预知结果。但它看上去非常聪明,甚至短短一两天测试期间,都有肉眼可感的成长。更重要的是,它身上承载了中国大模型的希望,有大模型很好,是自己的更好。
最后补充一句,此次测试的版本还未包含多模态相关的能力,不过魔搭社区(ModelScope)上已经有文生图等模型了,可以预见多模态也将会是通义千问未来发展的能力之一。
不止于大模型
对于关注阿里大模型进展的读者来说,「通义千问」中的「通义」并不陌生,它是阿里达摩院 2022 年 9 月发布的大模型系列的名字。从 2019 年开始,阿里就开始了大模型的研究,先后推出了被称为中文版 GPT-3 的中文大语言模型 PLUG,以及全球首个 10 万亿参数的多模态大模型 M6。去年 11 月,阿里达摩院联手中国计算机学会开源发展委员会共同推出的 AI 模型社区 —— 魔搭 ModelScope,在国内首先提倡模型即服务的理念(Model as a Service)。
更重要的是,大模型竞赛本质上已延伸到算力层面,云计算是支撑更聪明 AI 的基础。去年 8 月,阿里云推出全栈智能计算解决方案「飞天智算平台」,为科研、公共服务和企业机构提供强大的智能计算服务,可将计算资源利用率提高 3 倍以上,AI 训练效率提升 11 倍,推理效率提升 6 倍。
此前,阿里也通过天猫精灵的演示了一些应用的可能,能力令人刮目相看。随着此轮 AI 浪潮的来临,我们期待未来大模型的能力能真正实现落地应用,甚至创造出新的前所未有的「杀手级」应用。
通义千问的到来,让我们看到,一个崭新的 AI 大时代正式开启了。
© THE END
投稿或寻求报道:content@jiqizhixin.com