audio2photoreal

audio2photoreal

audio2photoreal是一个从音频生成照片级逼真avatar的开源项目。它包含了一个pytorch实现,可以从音频中合成交谈中的人类形象。该项目提供了训练代码、测试代码、预训练的运动模型以及数据集访问。它的模型包括人脸扩散模型、人体扩散模型、人体VQ VAE模型和人体引导变换器模型。该项目让研究人员和开发者能够训练自己的模型,并基于语音合成高质量的逼真avatar。

需求人群：

[“语音人物形象合成”,”3D avatar生成”,”语音驱动的CG角色”,”元宇宙虚拟形象”]

使用场景示例：

使用自己收集的语音数据训练模型,生成自定义角色的avatar

利用历史人物的语音资料,合成逼真的虚拟形象

将角色配音适配到3D游戏和虚拟空间中

产品特色：

从音频生成逼真的人类avatar

提供预训练模型和数据集

包含人脸和身体模型

实现高质量avatar渲染

开源pytorch代码实现