教AI主播“说”手语他们让更多人“听见”冬奥

新华社天津2月18日电（白佳丽、宋瑞）对听障人士来说，激烈的赛事往往只能被看见，却无法被听见。而今年的北京冬奥会上，不少听障人士发现，赛事新闻中出现了一名面容清秀的冬奥新闻AI主播，她精准的手语手势让听障人士与健听人（听力健全人的简称）一样，可以同步感受冰雪运动的魅力。

用技术跨越声音的障碍，让听障人士‘听见’冬奥。天津理工大学聋人工学院副院长、冬奥新闻AI主播的手语数据库支持团队负责人袁甜甜说。

海报制作：方金洋

用6年时间搭一座沟通的桥

袁甜甜身上，有股坚持到底的韧劲。

她带领团队用6年时间，为听障人士搭建了一座与健听人无障碍沟通的桥梁。并在北京冬奥会上，迈出了落地应用的第一步。

我们研发了一套系统，叫作‘复杂场景下中国手语实时翻译系统’，这套系统能将输入的手语动作和表情经由计算机视觉技术识别后翻译成文字或语音。为此，我们共收集了20多万条语料。袁甜甜说。

谈到做这件事的初衷，袁甜甜表示是为了与听障学生更好地交流。

天津理工大学聋人工学院学生通过手机App为手语识别系统进行数据采集。新华社 孙凡越 摄

我16年前来到学院当老师，与听障学生接触的过程中，发现他们最渴望也最惧怕的就是与健听人交流。因为有网络专业背景，于是我决心通过技术改变这种现状。袁甜甜说。

从一个人摸索，到仅有一名听障学生加入，再到成立无障碍智能科技研发团队。如今，这支由健听人与听障人士组成的特殊技术团队，核心成员达50多人，其中不少是00后听障学生。

随着团队的发展壮大，技术难关也被层层攻破。目前，我们实现了在光线充足且稳定的室内，系统对手语的识别率最高达95%，部分场景下可以实现‘同步翻译’。袁甜甜自豪地补充，只要在摄像头前打出手语，显示屏上就会出现语意连贯的文字翻译。现在已经可以用于教育、法律咨询、餐饮、交通多个场景。

让听障人士听见冬奥

2021年11月，袁甜甜接到一个紧急任务——教冬奥新闻AI主播说手语。

人工智能深度学习的过程，就像教小孩子学说话，每一个词、每一个手语动作都需要重复‘学习’才能实现精准无误。袁甜甜与同伴们开始一一攻克难题。

第一时间参与其中的聋人工学院教师闵笛对这一过程深有体会。一个字‘难’。他说。

首先摆在面前的，就是冷门的冬奥词汇，以及专业新闻语言，怎么才能转换为大多数听障人士能看懂的手语？

团队成员先把整理出的新词形成一定的手语打法，再让手语专家一一判定听障人士能否看懂。遇到难用手语表示的词汇时，还需多番讨论。每个词至少要经历这样两个来回，就这样我们共新增了1000多个专业词汇的手语打法。闵笛说。

有了过去20多万条语料做基础，又增加了新的专业词汇，本以为工作已接近完成。但很快大家发现，手语语序与普通人说话语序并不相同，即便把这些词汇通通灌输给AI主播，也无法打出连贯的、听障人士能够理解的语句。

我们通过多年积累的技术经验，让AI主播逐步掌握从普通人语言到手语的流畅直译，并不断调试AI主播手语速度，让听障人士能够更清晰地理解。闵笛说。

用技术破解更多52赫兹的密码

今年22岁的王晓阳，是聋人工学院大三的学生。作为一名听障学生，他参与了冬奥新闻AI主播学习手语的全过程。从冬奥会开幕那天起，他每天都会准时打开手机盯着AI主播的每一个手语手势。

就怕她没学好，怕她出错！王晓阳用手语解释。但令他欣慰的是，越来越多听障朋友发来信息，告诉他AI主播的手语看得清楚、清晰。手语打得很漂亮，我们为自己骄傲。一旁的同学魏翔羽用手语补充。

天津理工大学聋人工学院学生在进行手语识别系统调试。新华社 孙凡越 摄

技术越过声音的障碍，让更多听障人士走向更广阔的世界。

信息技术对我们帮助很大。王晓阳用手语说，以前与健听人交流，他总觉得不安，有了这些技术手段，让他更有勇气融入社会。以后我想当老师，因为我的家乡缺少聋人老师。或者我去当程序员，用技术让更多人聋人‘听见’。

对袁甜甜来说，还有很多工作等着她带领团队完成。我们将不断迭代升级我们的系统，直到它能够在各种场景下让听障人士与我们流畅交流。

袁甜甜讲了一个52赫兹鲸的故事——海洋中，有只叫声频率与众不同的鲸鱼，因无法与同类交流而孤独。这只鲸鱼很像听障群体，我们要去破解‘52赫兹’的密码，用技术把孤独的鲸鱼与其他鲸鱼连起，让它们获得更多机会与幸福。