AI复原听障人士原声,网易免费开放首个AI声音复原工具
近日,网易集团、网易公益联合浙江省残疾人福利基金会发起人生第一句声音复原公益计划,利用网易互娱AI Lab的iSpeech技术打造首个AI复原听障人士原声的工具——听障人士仅需上传5分钟没有完整语义的发声片段,之后在产品中输入想要表达的文字,就可以用原本的声音说出来。目前该产品已向全国听障人士免费开放,帮助他们无障碍、有情感地与外界交流,用自己的声音说出人生第一句。
据介绍,作为亚运圆梦计划之一,人生第一句公益计划在杭州2022年第4届亚洲残疾人运动会组委会、中国残疾人事业新闻宣传促进会、浙江省残疾人联合会的指导下发起。
首个AI声音复原工具,免费开放给全国听障人士
网易互娱AI Lab技术团队在研究中发现,目前市场上绝大多数语音克隆产品需要输入完整讲话采集数据,对于无法正常发出语义的听障人士来说并不适用,而且面向听障人士的交流工具,大多也只有文字转语音功能,他们无法用自有的音色表达。
因此,网易互娱AI Lab研发团队利用iSpeech技术,基于海量数据的预训练模型,加上听障人士极少量的纯语音数据快速微调算法模型,在快速克隆新的说话人音色的同时保留基础模型的内容发音能力,研发首个听障人士声音复原工具,实现只需输入文字就可实时用原声流畅表达,让听障人士能圆梦人生第一句。
目前该声音复原工具已经在音书App上线,供听障人群免费使用,并且在浙江省杭州市马塍路残疾人融合就业街区试点应用,帮助听障咖啡师、面包师等更好地工作。
近七成听障人士表示希望使用,人生第一句话是说谢谢
在调研中,有超过67%的受访对象表示愿意使用音色复原技术,超过一半的受访对象表示愿意将音色复原技术推荐给身边有需要的人,也有部分受访对象表示除了手机 APP 软件以外,希望音色复原技术应用于在公交、出租、饭店、超市、银行等公共场所。
浙江省残疾人福利基金会理事长赵小飞表示,浙江省共有持证残疾人133.7万人,其中听力残疾20.8万人、言语残疾1.7万人,希望通过这一AI技术帮助他们用自己的音色向他人传递内心真实想法,进而推动解决该群体在和健听人沟通交流过程中存在的障碍问题,改变他们的生活、学习和工作环境状况及相应的能力水平,使他们真正能够平等参与社会生活,实现人生价值。
大模型只能对话、写诗、作画?网易AI技术加速落地普惠
实际上,一直以来网易持续利用游戏技术助力打造无障碍社会。此次运用的iSpeech技术原本是由网易互娱AI Lab针对游戏场景推出的AI创作工具,已落地服务于以《大话西游》《一梦江湖》《荒野行动》为代表的10余项游戏项目产品之中,相关技术成果斩获了多项国际顶会论文和技术专利,并在此前应用于游戏中,进行交互界面的朗读播报,辅助视觉障碍人士玩游戏。
随着AI浪潮的兴起,网易除了加快人工智能技术在产业的落地应用外,也致力于让每个普通人都能够享受到新技术发展的红利,实现技术的普惠。例如,在乡村振兴方面,网易利用人工智能等技术,打造线上线下结合的智慧文旅元宇宙,为22个县域新增游客300万;在工业生产方面,网易伏羲将人工智能、游戏化交互、游戏仿真等能力迁移到工程机械领域,推出国内首台无人装载机器人和挖掘机器人,参与到矿山、铁路等一线场景的建设。