1987WEB视界-分享互联网热门产品和行业

您现在的位置是:首页 > 人工智能AI > 正文

人工智能AI

不会中英互译,百度文心一言变“中文差生”

1987web2023-05-31人工智能AI248
原标题:不会中英互译,百度文心一言变中文差生

原标题:不会中英互译,百度文心一言变中文差生

作者 赵翔 姜睿盈

编辑 覃拓

近期,文心一言套皮争议愈演愈烈。

一名业内人士告诉《橡果商业评论》,所谓套皮,应该是指文心一言采用中英互译方式套用开源模型、采用开源数据加入训练的行为。

据百度发布的相关论文显示,文心一言文生图功能在训练时,使用百度翻译进行中英互译。

事实上,百度翻译目前在行业早已掉队,机器翻译效果相比其他人工智能公司差距很大。

《橡果商业评论》将百度翻译与讯飞翻译、腾讯翻译、网易翻译对比发现,百度翻译对名词短语的翻译,存在多义、歧义等问题。

上述业内人士表示:

如果翻译错误,也会直接影响生成模型的效果。

但翻译是中国AI的必经之路。

截至2021年,全球排名前1000万个网站中,英文内容占比60.4%,中文内容占比仅为1.4%。

中国AI需要依赖大量的英文数据集训练。

翻译成为文心一言面前的一座大山。

面对技术问题,百度不仅从未正面回应,还不断公开强调国货需要时间。

如此发言,似乎是在维护李彦宏文心一言中文优等生的自尊心。

文心一言受困于中英互译,中国AI未来在哪里?

一:文心一言套皮疑云,自画像竟是白种男性?

3月22日,博主@刘大可先生 爆料,文心一言套皮、画皮、造假。

@刘大可先生表示,若使用文心一言做图,它会将中文翻译为英文,再使用国外开源的AI文生图模型Stable Diffusion生成图画。

Stable Diffusion与OpenAI的Dall-E 2相似,都是AI文生图模型,由英国公司Stability AI在2022年8月发布。

以一可以豆子为例,这句话在汉语中不是完整语言;若使用百度翻译直翻英语,结果为One can beans。

可以被翻译成can,根据上下文,can被理解为量词,整句意为一罐豆子。

所以,让文心一言制图一可以豆子,就会得到一罐豆子的图片。

这并非个例:

1. 牛肉可以使用百度翻译会得到Beef can;

2. 一冰箱可以为A refrigerator can 。

3. 牛奶路对应翻译Milk Road;

相应的,文心一言也会分别生成一罐牛肉装满罐头的冰箱银河的图片。

直翻导致错误之外,一词多义的单词们也会让文心一言制图抓瞎:

1.起重机百度翻译为Crane;

2.土耳其为Turkey。

Crane更常用的意思为鹤,Turkey也有火鸡之意,所以文心一言会生成鹤头火鸡的图片。

此外,若让文心一言生成人像,不加中国关键字,画出的都是白种人。

3月16日,《橡果商业评论》让文心一言画自画像,却得到一个白人男性的图片。

3月23日,百度发声明称不传谣不信谣,文心一言文生图能力来自文心跨模态大模型ERNIE-ViLG。

二:猪队友百度翻译,让文心一言卷入套皮风波

文心一言有不一样的答案。

3月23日,据《澎湃新闻》报道,在对话文心一言,询问其是否采用Stable Diffusion时,文心一言不仅承认使用Stable Diffusion,还承认使用Transformer、GRU等深度学习模型来生成图像。

事实上,这并不代表文心一言文生图存在所谓套皮。

百度官方介绍,文心一言文生图功能来自ERNIE-ViLG 2.0。

据百度发布论文《ERNIE-ViLG 2.0:用知识增强型混合去噪专家改进文本到图像的扩散模型》显示,ERNIE-ViLG 2.0的训练数据由1.7亿图文对组成,包括网络公开的英文数据集和百度内部中文数据集。

然而,ERNIE-ViLG 2.0训练阶段,部分训练数据里的中、英文翻译由百度翻译自动翻译。

业内人士唐喆(化名)告诉《橡果商业评论》,百度翻译目前已经掉队,机器翻译效果相比其他人工智能公司存在很大差距。

特别是名词短语翻译,存在多义、歧义等问题,如果翻译错误,也会直接影响生成模型的结果。

以上述牛肉可以为例。

《橡果商业评论》用百度翻译结果为Beef can(牛肉罐头);腾讯翻译为Beef is fine(牛肉不错);网易翻译为Beef can(牛肉罐头);讯飞翻译结果为Beef is OK(牛肉不错)。

不同翻译软件中,只有腾讯翻译、讯飞翻译回答正确。

唐喆则举例近期最火的虎头虎脑的胖小子。

百度翻译为Big fat kid with a tigers head and brain(长虎头的胖子),网易翻译、腾讯翻译也类似。

讯飞翻译结果相对接近,为A tiger-headed fat boy(虎头虎脑胖小子);

唐喆解释,文心一言作画能力强调输入文本内容的实体信息,例如虎头虎脑的胖小子,会把虎头当做单独的实体。

这不仅忽略了整体句子级别的语义理解,也与文心一言发布时提到中文理解能力强完全不符。

三:差生伪装优等生,李彦宏的自尊心游戏?

在3月16日的文心一言发布会上,百度CEO李彦宏用提前录制好的文心一言演示视频,解释其中文理解能力。

例如向文心一言提出洛阳纸贵藏头诗等问题。

最终李彦宏的结论是,文心一言是扎根中国市场的大语言模型,具备中文领域最先进的自然语言处理能力。

目前看来,文心一言距离李彦宏所言中文优等生相差甚远。

唐喆认为,百度采用中英互译方式,无论是套用开源模型还是采用开源数据加入训练,都应该在中文语言理解和中英互译上多加注意。

令人遗憾的是,文心一言技术出现问题,面对质疑,百度并未就此问题进行公开的专业解答。

还以需要时间学习和成长给自研产品信息、时间为由,消耗着国内用户的耐心与信心。

另一方面,当文心一言答案被指出现问题,答案就会消失。

3月23日下午,《橡果商业评论》使用文心一言发现,与牛肉可以类似的XX可以问题,文心一言答案疑被屏蔽。

直到当日晚间,答案才再次恢复,面对牛肉可以的指令,文心一言画出的不再是牛肉罐头,而是一盘牛肉。

这似乎是升级迭代?

但继续提问牛奶路(Milk Road),生成的图片依然是银河(the Milky Way)。

如此操作,并不像是百度口中学习能力提升,更像是真人进行的屏蔽、修正。

即便如此,李彦宏在媒体专访时也认为,文心一言能在两个月后追赶到今年一月份的ChatGPT。

唐喆认为,从用户视角来看,文心一言和ChatGPT差距不小。

ChatGPT基本可以满足用户的诉求,反观文心一言,作图能力理解能力双双丧失,从画图结果来看,文心一言更适合玩看图猜成语的游戏。

四:文心一言受困于中英互译,中国难有ChatGPT?

文心一言距离ChatGPT还有多远?

唐喆认为,文心一言在知识问答、词典、文献检索等方面回答基本过关,这是发挥百度自有搜索引擎的优势。

但在数学、代码、归纳推理、翻译等方面,被ChatGPT甩在身后。

唐喆曾多次询问中国特有的农历,即便百度对文心一言进行过多次修正,文心一言也依然没有给出正确答案。

对于一些常见的亲属关系、推理选择,文心一言展示的推理逻辑看似很有道理,实际是在一本正经地胡说。

唐喆总结:

1.文心一言在中文写作、语法分析上,分析精度和准确性均不高;

2.文本生成、改写、作文等,虽然会有基本格式框架在,但不能仔细阅读内容,内容精细度不如GPT详实和细腻。

3.文心一言在海量信息的参数化全量记忆类型问题,及一些复杂的逻辑思维推理类问题的回复上,不符合用户原始意图的表现居多。

其次,对于安全类敏感类话题,文心一言控制的十分谨慎。

唐喆表示,文心一言的敏感词范围较宽泛,处理逻辑也略显粗暴。

例如,若用户A问出带有敏感词的问题,文心一言为防止A继续发文,会强制关闭A的对话框。

在此类问题上,ChatGPT相对更加客观,会增加正向引导和安抚。

唐喆认为,通过上述例子可见,百度内部细化、分层不够,处理不灵活。

事实上,对文心一言来说,现阶段最重要的事,是寻找百度翻译替代品。

有业内人士表示,虽然简体中文互联网用户和英文互联网用户规模相当,但截至2021年,全球排名前1000万的网站中,英文内容占比60.4%,中文内容占比仅为1.4%。

中国AI需要依赖大量的英文数据集训练,否则会吃亏。

文心一言若想成为中国版ChatGPT,需做好第一步中英互译。

在文心一言文生图还在看图猜成语之时,据最新消息,OpenAI宣布ChatGPT支持接入第三方插件,并上架11个插件。

其中Browsing插件支持ChatGPT实时搜索互联网内容。

解除封印的ChatGPT将涌现无数可能性。

毫无疑问,全能AI助理时代即将到来。

但时至今日,中国依然被ChatGPT封区锁服。