如何制作一个虚拟数字人?超全数字人制作过程来了
自计算机图形学问世以来,人们一直在尝试创造逼真的数字人类。直到最近,那些成功的人还必须投入数月甚至数年的时间。这是一个非常昂贵和耗时的过程,需要高技术知识和设备以及高超的艺术技巧。但随着MetaHuman Creator的推出,这一切都发生了变化,这是一款基于云的应用程序,任何人都可以在几分钟内制作出自己完全装配的逼真的数字人类。
什么是数字人?
简而言之,数字人是一个 3D 计算机生成的人类版本,可以动画化以像真人一样移动和行动,但在虚拟世界中。它的范围可以从程式化到逼真;它可以是实时的交互式体验,也可以是离线渲染的动画;它的运动可以由真人控制,也可以由人工智能 (AI) 控制。一方面,数字人类与现实几乎无法区分。
为了使数字人类具有照片般的真实感,他们需要许多细微的差别,例如模拟皮肤下方血流的皮肤纹理层、对头部运动做出自然反应的头发,以及使我们都成为人类的变化——因为例如,我们大多数人的脸都不是完全对称的,而且我们的皮肤有自然的色素变化,例如鼻尖的轻微发红,或者轻微的雀斑。
为什么我们需要数字人类?
您可能会问自己,数字人类的目的是什么?事实上,您可能已经在Senuas Saga: Hellblade II或 Netflix 的Love, Death + Robots等游戏中看到过它们;在电影中,例如漫威的蜘蛛侠或 TreeHouse Digital 的恐怖短片The Well;或者他们可能是社交媒体上的数字影响者。
在媒体和娱乐之外,数字人在医疗保健行业具有巨大潜力,他们可以充当数字顾问或用于培训外科医生,甚至用于考古;科学家们最近使用 MetaHuman 技术让一位拥有 10,000 年历史的萨满复活!
当与人工智能结合时,数字人类的可能性会更进一步。它们可用于从咨询到风险评估的各种场景。当数字人类可以导航建筑物的数字孪生时,您可以测试火灾逃生路线或行人交通流量,而不会将真人置于危险或不便之中——您甚至可以在建筑物建成之前完成这项工作。不难想象,人工智能驱动的数字人可以成为居家老人的伴侣。随着我们进入元宇宙时代,我们越来越多的时间生活在虚拟世界中,您可以期待到处都能看到数字人类。如果您还没有的话,您可能会有一位作为您自己的虚拟代表。以数字人作为您的化身,您可以成为您想成为的任何人。从数字个人购物者的在线零售体验到虚拟音乐会,数字人类无疑将成为许多人未来的一部分。
开始使用MetaHuman Creator
那么究竟如何制作 MetaHuman 以及它有多容易?这非常容易。只需注册 MetaHuman Creator 的早期访问计划,您就可以访问基于云的应用程序。您不需要超级强大的计算机,只需要 Windows 或 macOS 台式机或笔记本电脑上的网络浏览器即可。启动应用程序后,您会看到一个包含数十种不同预设数字人类的数据库,所有这些都是通过结合来自真实人类的扫描数据创建的。这些是你的起点。您可以在预设之间混合面部的不同区域,也可以直接雕刻您的人以改变他们的面部形状。该应用程序的设计使您不会意外地扭曲面部,使其超出现实。
接下来,你可以选择发型和颜色,调整胡须、眉毛和胡须等东西,改变眼睛和皮肤颜色,添加雀斑和皱纹,改变牙齿,甚至化妆!选择您的体型,然后为您的 MetaHuman 穿上您可以选择不同颜色和图形的服装。在任何时候,您都可以播放不同的动画或选择不同的姿势,以查看您的 MetaHuman 在行动中的样子。
在虚幻引擎中使用您的 MetaHuman
创建 MetaHuman 后,您可以通过 Quixel Bridge 将其直接下载到虚幻引擎项目中,该项目现已完全集成到 UE5(虚幻引擎 5)中。虚幻引擎是一套完整的创作工具,适用于游戏开发、建筑和汽车可视化、线性影视内容创作、广播和现场活动制作、培训和模拟以及其他实时应用。
MetaHumans 进入虚幻引擎,身体和面部都完全装配好了,消除了数字人类创作中最耗时的步骤之一。观看有关在 Unreal Engine 中使用Control Rig 为 MetaHumans 设置动画和在 Unreal Engine 中使用MetaHuman Facial Rig的视频教程,以了解如何使用这些装备。您还可以下载并浏览MetaHuman 示例项目以查看准备好的动画示例。因为所有 MetaHumans 共享相同的装备,您可以使用IK Retargeter 轻松地将动画从一个角色转移到另一个角色,即使它们具有不同的身体比例。您可以在虚幻引擎市场,其中许多是免费的。MetaHumans 还与 UE5 的物理引擎 Chaos 兼容,并附带有源布娃娃物理,这意味着他们将瞄准可信的姿势,甚至在跌倒时试图保护他们的头部。MetaHuman 示例项目的关卡演示了如何使用物理资源和起床动画。
MetaHumans 包括八个 LOD(细节级别),这意味着它们可以在从 Android 到 XSX 和 PS5 的各种设备上实时运行。在完全保真度的情况下,并启用了基于发束的头发和实时光线追踪,MetaHumans 需要一台配备 RTX 显卡的高端 PC。如果您难以在计算机上实现实时性能,可以使用赞奇云工作站,不用更换电脑也可以享受高配电脑体验。
赞奇云工作站拥有专业级显卡、超大内存等多种机器配置。机器显卡更新及时,提供高配机型,海量资源可按需选择,内置软件中心提供最新软件安装包,一键下载,省去搜索时间,提高工作效率。
使用动作捕捉创建逼真的动画数字人
虽然数字人类可以手动、逐个关键帧地制作动画,但通常单独使用动作捕捉技术或与关键帧结合使用。在这个过程中,演员表演他们的动作,这些动作由演员身上的传感器或周围的摄像机记录下来,然后再转移到数字角色上。使用Unreal Engine 中的 Live Link,这可以实时发生,因此演员可以实际看到自己的数字版本在表演时移动。这使他们能够即时进行调整以实现最佳性能。这种技术在Slay上得到了很好的效果,这是一个虚幻引擎的免费示例项目。
面部动画对于可信度尤其重要,并且是讲故事的关键。当除了身体动作之外还记录面部表情和手指动作时,动作捕捉被称为表演捕捉。面部表演捕捉有多种解决方案,但最简单的方法可能是使用 iPhone 或 iPad 和免费的Live Link Face iOS App for Unreal Engine。
通过扫描或雕刻创建独特的数字人类
虽然您可以在 MetaHuman Creator 中创建大量不同的角色,但以当前扫描数据库的大小,不可能以实际相似为目标。但是,使用Mesh to MetaHuman (虚幻引擎 MetaHuman 插件的一项功能),您可以使用您使用扫描、雕刻或传统建模工具创建的自定义网格,并将其转换为 MetaHuman,完全装配并准备就绪动画。
总结
虚拟数字人制作价格通常从数千元到数十万元不等。在制作费用上,要求真实和功能越高,成本越高。当然了,有时会需要面部捕捉设备+动作捕捉设备,再加一套可同时配置在电脑和手机上的软硬件直播系统,价格可能要另外计算。想要节省成本,其次就要从高昂的电脑硬件上去节省,现在很多的小伙伴们没有高性能的电脑配置和高性能的存储,但是想要减少预算来制作虚拟人,那么推荐你可以选择在赞奇云工作站来进行建模制作全流程服务,摆脱本地电脑配置不足导致的效率低制作过程慢的情况。
赞奇云工作站拥有专业级显卡、超大内存等多种机器配置。机器显卡更新及时,提供高配机型,海量资源可按需选择,内置软件中心提供最新软件安装包,一键下载,省去搜索时间,提高工作效率。还提供海量机器,一键申请,提供包年包月多种套餐,灵活选择,按需使用,满足各类工种所需要的机器要求,同时降低运维成本。
赞奇云工作站产品面向的是设计师行业,通过汇集设计师们的生态应用打通其业务的流程模式,克服了当前设计行业物理工作站本身所面临的困境,例如配置更新换代快,产业链数据安全难管控,用户只能固定工位办公等问题。总而言之,赞奇云工作站性能强,是设计师的绝佳助手。
新畅元的人机交互及虚拟数字人相关技术矩阵
邱见明表示,现阶段芯片硬件技术进入了平稳发展期,在生成式数字人领域,算法将扮演更重要的角色,而高质量的算法能力是新畅元打造AIGC数字人多模态内容生成与互动系统的核心竞争力。
新畅元的解决方案矩阵,能够基于独立人群画像,划分细分应用场景,价值体系将逐步覆盖广告营销、娱乐文旅、影视传媒、企业服务、社交、养老等行业领域。
近期,新畅元基于其AvatarVerse引擎正式推出了全生成2D数字人产品。使用新畅元多模态系统的虚拟数字人,能够实现嘴唇、表情(喜怒哀乐等)、肢体动作等全方位的AI驱动,效果相比于传统CG建模数字人或者唇形驱动的2D真人数字人更真实、自然。
完成1.0产品的上线后,新畅元团队也在积极准备2.0阶段的生成式3D数字人产品,预计将于2024年正式上线。邱见明表示,对比现有的3D美工数字人,生成式3D数字人不仅制作周期短,成本低,后期维护使用也非常便利,结合环境变光照系统,能够实现虚拟数字人与真实场景结合不违和,这类虚拟数字人也将有机会成为XR时代的重要内容来源。
给B端和C端用户带来更好的体验,「新畅元」推出AI多模态+全生成虚拟数字人|早期项目36氪2023-09-2117:5936氪2023-09-2117:59
随着计算机算力、软件算法及相关硬件设备的发展,虚拟数字人技术已逐渐在多种场景完成落地,虚拟数字人本身也从2D的纸片时代走向了3D写实时代。