用一篇文章,帮你了解什么是虚拟数字人?
洛天依的出现和爆火,让很多人看到了虚拟偶像的广阔市场。不仅如此,虚拟主播、虚拟员工等数字人不断涌现,在代替人类从事某些行业的同时也引发了一些争议。本文作者围绕数字人进行分析,希望对你有帮助。
大家好,我是Clippp。今天为大家分享的是「虚拟数字人」。这段时间元宇宙概念的大火带动了很多人对未来的无限遐想,与元宇宙紧密相关的虚拟数字人的热度也在提升。
现在网络上经常出现各式各样的数字人,虚拟偶像、虚拟主播层出不穷,当然伴随着数字人一同出现的还有各种争议。
今天我们就来一起探究虚拟数字人是什么、具有哪些特征,分为哪几种类型以及都应用在什么行业,深入地了解虚拟数字人概念。
一、数字人的三方面特征
虚拟数字人是指具有数字化外形的虚拟人物。与具备实体的机器人不同,虚拟数字人依赖显示设备存在,我们所知的很多虚拟人都要通过手机、电脑或者智慧大屏等设备才能显示。
虚拟数字人宜具备以下三方面特征:
- 一是拥有人的外观,具有特定的相貌、性别和性格等人物特征;
- 二是拥有人的行为,具有用语言、面部表情和肢体动作表达的能力;
- 三是拥有人的思想,具有识别外界环境、并能与人交流互动的能力。
综合来看,就是具备四方面的能力,即形象能力、感知能力、表达能力和娱乐互动能力。
如果我们下次再看到有公司推出数字人,就可以结合这些特征和能力来判断这个数字人的可信度,避免被借势营销的企业钻了空子。
二、数字人的运作原理
知道了什么是数字人,接下来就要搞清楚数字人到底是怎么说话、互动的,是背后有真人在操控,还是完全通过技术生成。
面对新兴的数字人,相信很多读者都存在类似的疑问。
数字人的诞生发展和AI人工智能可以说是密不可分,想了解数字人的运作原理,首先要知道数字人的通用系统框架。
虚拟数字人系统一般情况下由人物形象、语音生成、动画生成、音视频合成显示、交互等5个模块构成。(资料参考:2020年虚拟数字人发展白皮书)
交互模块为扩展项,根据其有无,可将数字人分为交互型数字人和非交互型数字人。
首先看一下非交互型数字人:系统依据目标文本生成对应的人物语音及动画,并合成音视频呈现给用户。
交互型数字人根据驱动方式的不同可分为智能驱动型和真人驱动型。
智能驱动型数字人:通过智能系统自动读取并解析识别外界输入信息,根据解析结果决策数字人后续的输出文本,驱动人物模型生成相应的语音与动作来使数字人跟用户互动。
这种人物模型是预先通过AI技术训练得到,可通过文本驱动生成语音和对应动画,业内将此模型称为TTSA(Text To Speech & Animation)人物模型。
真人驱动型数字人:真人根据视频监控系统传来的用户视频,与用户实时语音,同时通过动作捕捉采集系统将真人的表情、动作呈现在虚拟数字人形象上,从而与用户进行交互。
三、数字人常见的类型
调研分析当前市场上的数字人,根据人物图形维度,分为2D和3D两大类,从外形上可分为卡通、写实等风格,综合来看可分为二次元、3D卡通、3D高写实、真人形象四种类型。
接下来根据每种类型的特点,从外在形象、服饰装扮、表情动作等方面,结合典型案例来逐一分析虚拟数字人的设计。
1. 二次元类型
虚拟歌手-洛天依
洛天依的职业设定为虚拟歌姬,个性软萌可爱、温柔细腻,外貌特征上是灰发、绿瞳,头戴碧玉发饰。
除了独特的形象和性格,洛天依还能唱歌、跳舞、直播带货,多样的才艺加持让人物设定不单薄,受到很多用户的关注。
2. 3D卡通类型
虚拟助理-度晓晓
度晓晓是基于虚拟人IP的陪伴型虚拟助理。在小度助手的能力基础上,度晓晓有虚拟人物形象和情感交互系统,具备视觉识别能力,支持自然的交流方式。
在外形装扮上,度晓晓是红色短发的甜美可爱风,五官比例偏向二次元风格。根据现有案例来看,度晓晓在眨眼、微笑等面部微动作以及肢体的造型,都很自然、生动,整体设计效果相对较好。
度晓晓定期更新身穿不同主题服装、摆着各种pose的形象,每套服装都有一个主题再带配上各种周边小配饰,营造出一种清新时尚的效果。
3. 3D高写实类型
浦发银行数字员工-小浦
小浦作为银行的数字员工,主要进行风险评估、要闻播报、投资建议等在线服务。
从外观上,小浦在形象上无论发型还是五官都足够拟人化、职业化,穿着银行职业装,属于比较典型的银行职员形象。
小浦没有很夸张的面部表情,始终以面带微笑的状态面向用户,给人一种亲切感。肢体动作相对较少,没有特别夸张的动作设定,只有固定的几套动作。
4. 虚拟偶像-AYAYI
AYAYI是使用Unreal引擎造出来的特别拟真的Metahuman形象。
外在形象:写实程度更高,人物整体效果已经和真人十分接近,五官特别精致、眼睑微敛、银色短发,散发着一种清冷气质。
从AYAYI社交账号的更新来看,目前主要是分享一些AYAYI的摆拍图片,穿着的服装、饰品都比较真实、时尚,拍照环境都是休闲、艺术类的场景。
AYAYI人物形象的时尚感和真实感,更容易切入商业化,比如穿着特定品牌的服装进行摆拍。
高保真数字人-Siren(塞壬)
Siren是高保真、实时、可交互数字人,用到了实时渲染、表情捕捉、动作捕捉、高保真3D扫描等前沿技术,达到了目前业界最高的技术水平。
Siren的面貌细节更加真实,可以很清楚看到皮肤的细节、眼睛的转动、说话的神态、脸上各种各样的细纹。不管是毛孔、细纹等皮肤质感,还是神态上的表情,都很像真人。
Siren在说话时嘴唇动作自然,效果真实。之所以有的数字人看起来不自然,很大一部分原因是因为数字人面部表情不生动,特别是在说话时嘴唇和脸部、牙齿甚至舌头的联动,很容易出现动作不联动、不真实的情况。
5. 真人形象类型
新华社AI合成主播-新小浩
新小浩是无论外在形象、面部表情、服装搭配、说话声音,还是肢体动作上,都是完全基于真实主持人生成。
通过语音合成、唇形合成、表情合成以及深度学习等技术,克隆出具备和真人主播一样播报能力的AI 合成主播。
我们每天都会遇见各种各样的人,即使脸上最细微的表情,我们都可以感知到,用计算机打造出来的表情,往往缺乏灵气。
真人形象的虚拟主播的优势在于,他的特征都是来源于真人,呈现的面貌和状态更容易被用户了解。如果不仔细看,可能分辨不出是不是真人。
四、数字人的应用场景
目前国内市场上已经出现了非常多的虚拟数字人,在各行各业中有着广泛的应用。
虚拟数字人技术结合实际应用场景领域,切入各类,形成行业应用解决方案,赋能影视、传媒、游戏、金融、文旅等领域,根据需求为用户提供定制化服务。
按照应用场景或行业的不同,已经出现了娱乐型数字人,如虚拟偶像、歌手、网红、虚拟代言人等;
助手型数字人,如虚拟客服、虚拟导游、智能助手。
主播型数字人,如虚拟主播、虚拟支持人等。
这里搜集的案例只是虚拟数字人的应用的一小部分,还有很多优秀的应用案例等待着大家去一起发现。
五、代表性的研发平台
国内有很多互联网平台在研发虚拟数字人,我也从中收获了大量的信息和资料,这次把这些平台分享给大家:
- 搜狗AI开放平台
- 网易伏羲、网易易现
- 百度AI开放平台
- 腾讯云、腾讯NEXTStudios
- 讯飞开放平台
如果大家想了解更多关于AI人工智能、数字人和最新科技的发展,可以去这些平台学习~慢慢来比较快,希望对你有所帮助!
-
上一篇
2023中国科幻大会上,工作人员在演示虚拟人。
图源:新华社
如此超现实的形象,首先是技术的产物。在技术的更迭出新中,从2D的数字形象,迈向3D超写实数字人,虚拟数字人在动作、语言、思想等方面都变得越来越逼真。同时,其更是文化的产物。它可以根据不同的应用场景,搭配不同的身份、装扮、语言,以极具特色的模样,给人惊艳的第一印象。
当然,虚拟数字人之所以能称之为人,核心还在于它拥有像人一样的思考、学习能力,以及社交的属性。其正以丰富的表现力、广泛的应用场景,为大众生产生活带来全新的活力与可能。
按照应用场景或行业的不同,已经出现了娱乐型数字人、教育型数字人、助手型数字人等,不同类型、不同领域、不同应用场景的虚拟数字人制作的技术路线不同,场景应用成熟度也不尽相同。
例如,作为品牌代言人,虚拟数字人可通过各种形式的宣传和推广为品牌代言,从而带来更多的曝光率和关注度,还可以与消费者进行互动,增加用户的参与感和忠诚度;作为新闻主播,通过虚拟数字人的语音合成技术和自然语言处理技术,可以实现高质量的语音播报和文字转录,为观众提供更加便捷、高效的信息获取方式和更加个性化的服务体验;而当虚拟数字人应用于电影、动画、游戏等领域中时,不仅可以为用户带来更加丰富多彩的娱乐体验,还能创造更加多样化的IP角色,增强受众精神愉悦。
虚拟数字人相关产业规模正在不断扩大。有数据显示,仅中国现有虚拟数字人相关企业就超过38万家,虚拟数字人行业正进入爆发期。数据显示,当前虚拟数字人市场规模已超2000亿元,预计到2030年,中国虚拟数字人整体市场规模将达到2700亿元,而其中身份型虚拟人将在未来发展中占据主导地位。另据Research And Markets研究,预计到2028年,全球虚拟活动市场规模将达到5047.6亿美元。虚拟数字人正逐渐突破次元壁,落地实际应用场景。
虚拟数字人全球上岗
风险隐患不容忽视
从洛天依、英国虚拟乐队Gorillaz、虚拟网红Rozy、虚拟偶像团体A-SOUL,再到虚拟主持人等,虚拟人已经通过各式各样的方式走进大众生活。当下,在全球范围内,越来越多的国家和地区开始关注和投入虚拟数字人的技术研究和应用实践,以期为经济发展和社会进步提供新的动力。
美国的虚拟数字人技术主要应用于娱乐、广告、教育等领域,如好莱坞电影中的特效人物、Facebook平台上的虚拟助手M等。此外,美国的高校和科研机构也在深入虚拟数字人技术研究,如加州大学伯克利分校的Bebop项目,以及纽约大学的NYU GESTURE项目等,推进技术创新。
图源:bilibili
日本的虚拟数字人技术则主要应用于动漫、游戏、旅游等领域。例如,万代南梦宫的初音未来系列角色、任天堂公司的马里奥兄弟等。
而在德国,虚拟数字人技术主要集中应用于工业领域。一些德国企业和研究机构已成功地将虚拟数字人技术应用于生产线上的机器人操作员培训、维修和故障排除等方面,提高了生产效率和降低成本。
中国在虚拟数字人技术领域取得了显著的成果。主要应用于游戏、影视、教育、医疗、电商、传媒等领域,为生活带来了一定的便利。例如,清华大学推出的虚拟学生华智冰能作诗作画、创作音乐,还具有持续的学习能力和情感交互能力;京东虚拟主播小美亮相直播间,为消费者带来如同真人主播般流畅的直播体验;阿里巴巴集团则通过其子公司阿里鱼推出了一款名为阿里木鱼的虚拟主播,为电商直播行业注入了新的活力。
图源:Bilibili
全球范围内,各国在虚拟数字人领域的探索与实践呈现出多元化的特点。未来,虚拟数字人有望在更多领域得到深入运用。
但如同一枚硬币的两面,虚拟数字人发展持续向好的同时,也带来了一定的风险隐患。
一是数据泄露安全风险加剧。包括眼球运动、脑电波等生理性的用户隐私数据,另一方面是用户喜好和行为偏好等信息。
二是伦理秩序受到挑战。面对与人类近乎一致的虚拟数字人,人类可能会产生一系列认知障碍和身份错觉,在虚幻与真实中迷失,进而引发换脸风险等一系列道德的灰色地带,使伦理秩序不断受到挑战。
三是社会治理难度增大。随着AI、面部识别以及3D建模和动作捕捉技术的发展,虚拟数字人越来越逼真。然而,这些技术一旦运用不当,极易引发一系列社会问题,如诈骗、造假等,加大社会治理难度。虚拟数字人扩展了人的定义的同时,也带来了人的治理的复杂性。
图源:Bilibili
元宇宙作为仍在探索的新概念,其背后的技术是复杂的,需要长时间的打磨。也许,在不久的将来,虚拟数字人将为我们带来更多沉浸感、陪伴感和归属感,成为每个人的贴心助手、知心朋友。或许,到那个时候,它才能称为元宇宙真正的入口。
审核:张宁策划:李政葳撰文:雷渺鑫编辑:李飞、穆子叶光明网出品
参考|人民日报、科技日报、中国科技信息、新华网、浙江宣传、中关村产业研究院
更多信息欢迎关注
虚拟数字人,不止是形象!
新闻主播、品牌代言、直播带货、云客服……如今,无所不能的虚拟数字人正成为当下最受瞩目的新兴数字产业之一,并开始赋能影视、媒体、游戏、金融、文旅等领域,成为推动各
-
下一篇
资本扎堆的虚拟数字人到底在讲什么“故事”?