解析超写实虚拟数字人制作的核心技术
元宇宙热度加持下,虚拟数字人破圈而出,成为该产业最成熟的商业化应用之一。作为元宇宙原住民,虚拟数字人已在各种应用场景中大放异彩,像虚拟偶像洛天依、柳夜熙,各大媒体的虚拟主持人:央视网小C、人民日报果果,虚拟员工:百信银行AIYA等。
虚拟数字人是指具有数字化外形的虚拟人物,采用计算机数字建模技术,利用图形学、图形渲染模拟人物形象,通过动作、面部捕捉等技术模拟真实人物表情神态特征,并运用深度学习、语义理解、语音合成等手段形成具有人的外观、行为、思想的综合产物。从技术层面看,虚拟数字人的发展分为3个阶段:
第1阶段,虚拟数字人的制作以人物形象+ Vocaloid语音合成为主,生成具有美丽外表的虚拟数字人,像洛天依;
第2阶段,虚拟数字人的核心技术是2D/3D建模+实时动作捕捉+真人配音,例如虚拟数字歌手聆秋、沐汐,美妆达人柳夜熙;
第3阶段,虚拟数字人不但可以预测嘴唇的动作,还可以用文字合成语音来表达,整个虚拟数字人的面容、身体、声音、动作生成均由AI实现,具有真人质感、辨识度高、互动性强的特点,是更接近人形的超写实虚拟数字人。
超写实虚拟数字人的制作过程涉及建模、驱动和渲染三大环节。建模环节以动态光场重建技术为主,通过直接采集三维世界的光线,不仅可以重建人物的几何模型,还可以获取动态的人物模型数据,高品质的重现不同视角下人体的光影效果。
建模完成后想要冰冷的模型动起来,还需要进行一系列的驱动技术,像利用微表情追踪、语音识别、语音合成、NLP、动作和人脸捕捉等技术学习人物的语音、唇形、表情间的潜在关系,还原人脸骨骼和肌肉的细微变化,得到逼真的表情。
为了提升虚拟数字人的逼真程度,还需要渲染技术帮忙。渲染通过加入几何、视点、纹理、照明和阴影等信息,完成虚拟数字人模型到图像的转变,使虚拟数字人皮肤纹理更真实。目前渲染技术分为离线渲染和实时渲染两类,离线渲染受限于设备和软件架构,根据预先定义好的光线、轨迹渲染图片,主要用于2D虚拟数字人;而实时云渲染可以实时计算并输出图形数据,每一帧都针对当时实际环境光源、相机位置和材质参数计算出的图像,大多用于3D虚拟数字人。
-
上一篇
用数字人扫描技术制作仿真虚拟数字人有何用?
原标题:用数字人扫描技术制作仿真虚拟数字人有何用?
-
下一篇
虚拟数字人是存在于数字空间中,可进行人格化交互的虚拟形象。虚拟形象偏重于视觉、听觉等外在形象,而人格化交互则是数字人区别于我们常见的静态虚拟形象的关键。
由魔珐公司发布的虚拟数字人Ada视频,被杭州某网络公司擅自加工后在抖音发布,被诉侵权。杭州互联网法院日前对首例涉虚拟数字人侵权案作出一审判决,认定杭州某网络公司构成著作权侵权及不正当竞争,判决其赔偿12万元。
首例涉虚拟数字人侵权案,判了
从杭州互联网法院了解到,虚拟数字人Ada由魔珐公司打造,2019年通过公开活动发布,并在bilibili平台发布两段视频,一段介绍Ada的场景应用,一段记录真人演员徐某与Ada的动作捕捉画面。
原告主张视频作品的视频截图。杭州互联网法院公众号 图
2022年7月,杭州某网络公司通过抖音账号发布两段被诉侵权视频。视频的居中位置使用魔珐公司发布的相关视频内容,并在片头片尾替换有关标识,且在整体视频中添加虚拟数字人课程的营销信息。其中一段视频还添加杭州某网络公司的注册商标,并将其他虚拟数字人名称写入视频标题。
魔珐公司认为,该公司上述行为侵害其对美术作品、视听作品的信息网络传播权,侵害录像制作者及录像制品中表演者的信息网络传播权,并构成虚假宣传的不正当竞争行为,诉至法院,要求判令该公司消除影响并赔偿损失(含维权费用)50万元。被告公司辩称,魔珐公司不享有相关权利,其行为不构成侵权,且未因发布被诉侵权视频而实际获利。
法院审理认为,涉案虚拟数字人Ada系真人驱动型虚拟数字人,并非真人建模,即并未对应某一特定自然人的数字分身,该虚拟形象的生成过程包括创建静态三维形象、建模与智能绑定。结合作品独创性的要求,虚拟数字人Ada的表现形式借鉴了真人的体格形态,又通过虚拟美化的手法表达了作者对线条、色彩和具体形象设计的独特的美学选择和判断,构成美术作品。使用Ada形象的相关视频分别构成视听作品和录像制品。魔珐公司享有上述作品的财产性权利及录像制作者权。同时,被告公司发布的两段被诉侵权视频,一段构成对视听作品信息网络传播权的侵害,另一段构成对美术作品、录像制作者及表演者的信息网络传播权的侵害。
最终,法院判决被告公司在其抖音账号上为魔珐公司消除影响,并赔偿经济损失(含维权费用)12万元。
虚拟数字人也受著作权保护?!首例涉“虚拟数字人”侵权案判了