首个“冬奥AI手语主播”来了!有表情,有动作,实时翻译文字音视频
图说:冬奥AI手语主播正式亮相 来源/采访对象提供
从北京冬奥会开始,我将全年无休用AI智慧为听障用户提供手语服务。今天,央视新闻联合百度智能云打造的总台首个AI手语主播正式亮相,她有着真人般的皮肤、头发、眼睛,形象亲切自然,气质优雅独特,而她的背后,是用技术跨越声音的障碍的初心。
用AI观看冬奥新闻的背后
万众期盼的2022年北京冬奥会将在2月4日开幕,历时16天。这是中国历史上第一次举办冬季奥运会。在关注冬奥会的观众中,有一个特殊的群体,他们听不到赛场的声音。但他们关注着冬奥赛事,希望了解比赛动态,渴望感受比赛的激情。全球约4.3亿人有中度及以上程度的听力障碍。根据全国第二次残疾人抽样调查数据,中国有听障人士2780万。
百度智能云采用语音识别、自然语言处理等人工智能技术,构建一套复杂而精确的手语翻译引擎,实现了文字及音视频内容到手语的翻译;再通过专为手语优化的自然动作引擎,进行虚拟形象的驱动,将手语实时演绎为数字人的表情动作。这使得央视新闻AI手语主播具备高可懂度的手语表达能力和精准连贯的手语呈现效果。
央视新闻AI手语主播掌握的手语词汇规范都来自《国家通用手语词典》标准,经过长时间的智能学习,能够为观众朋友提供专业、准确的手语解说。
数字人的开发变得简单、快捷、高效
央视新闻AI手语主播由百度智能云的数字明星运营平台提供技术支持和服务。数字明星运营平台集数字人生成、内容生产为一体的平台级产品,为广电、互娱、品牌等客户提供一站式的虚拟主持人、虚拟偶像、品牌代言人的创建与运营服务,可以降低数字虚拟人的应用门槛。
目前,数字明星运营平台在生成维度支持二次元、2D、3D高精多种数字人风格,不仅通过全栈的AI能力实现了二次元数字人的一句话生成,还通过基于任意单个2D人脸重建高精度3D人脸技术,对虚拟人人脸3D模型进行编辑,实现将任意2D人脸低成本替换到3D虚拟人上,解决了2D数字人风格丰富性差的痛点难点,更将可被AI驱动的高精3D数字人生成成本由3个月降低到一星期。
在内容生产维度,支持真人驱动、AI驱动、融合驱动等多种直播方式;支持真人场景下多样化内容的视频快速生成。基于面部4D数据(3D+时序)的高精数字人文字到形状的跨模态面部表情生成技术,使得口型合成准确性达98.5%。
数字明星运营平台让数字虚拟人的开发和运营变得简单、快捷、高效。这也就意味着,现有众多高创作力、低技术能力的IP开发方,直接具备转化自己的IP为虚拟人的能力,可以无需建模、快速做出自己的数字虚拟人,甚至是虚拟偶像。
新民晚报 金志刚