NVIDIA Omniverse AUDIO2FACE
NVIDIA Omniverse 平台上的 Beta 应用,用 AI 神经网络根据语音音轨生成 3D 角色的面部与口型动画,可实时驱动或烘焙输出。
软件介绍
NVIDIA Omniverse Audio2Face 是 NVIDIA 推出的基于 OpenUSD 的 Omniverse 应用,页面标注为 Beta。它把语音音轨送入预训练的深度神经网络,由网络输出驱动 3D 角色面部网格的顶点,让角色的面部动画与配音相匹配,既可以实时运行,也可以烘焙成动画。应用自带名为 Digital Mark 的示例角色。
核心功能
- 音频输入:可使用录好的音频,也可以通过麦克风实时输入。
- 多语言:官方称支持多种语言,并会陆续增加。
- 角色重定向:可以把动画重新指定到其他写实或风格化的 3D 人脸上。
- 多实例:能同时运行多个实例,为场景中的多个角色分别设置表情。
- 情绪控制:情绪可以手动设置,也可以从音频中推断。
- 数据转换:支持 BlendShape 转换、Blendweight 导出,并可通过 Omniverse Connector 与 Blender、Unreal Engine 互相导入导出。
支持平台与系统要求
官方页面列出的系统为 Windows 10(1903 或更新版本)。最低配置为 Intel Core i5 10 代或 AMD Ryzen 5 5000 系列、16 GB 内存、250 GB 固态硬盘,以及显存 8 GB 的 RTX 显卡;推荐配置为 Core i7 13 代或 Ryzen 7 7000 系列、32 GB 内存、500 GB 固态硬盘,以及 GeForce RTX 4070 Ti、RTX A4500 或更高的显卡。
版本与授权
官方页面通过 Omniverse 启动器分发,提供免费开始使用的入口,但没有写明详细授权条款。NVIDIA 另有面向游戏和实时应用的 Audio2Face-3D 技术,其 SDK 在 GitHub 上以 MIT 许可证开源,与本桌面应用并不是同一个发行物。
适用人群或使用场景
适合需要为数字人、游戏角色或动画片段快速制作口型与表情的 3D 美术、动画师和技术美术。
版本列表
-
-
-
NVIDIA Omniverse AUDIO2FACE v1.4 官方版
NVIDIA Omniverse AUDIO2FACE((AI音频生成口型)),NV ...
软件大小:59.4 MB 更新时间:2021-12-16
-
