Audio to Photoreal Embodiment

它是研究框架，不是成品软件。你需要自己准备运行环境、理解方法链路、准备音频与化身资产，才能跑出结果。想直接用现成工具做数字人视频的话，它并不合适。

口型同步只关心嘴部动作和语音的对应关系，它要做的是整段语音驱动下的全身姿态生成——身体怎么动、幅度多大、和语气的起伏怎么对应，都是它要解决的问题。这也是它更接近动作生成研究而不是视频后期工具的原因。

它处理的是音频信号层面的节奏与韵律线索，理论上不绑定某一种语言的文本内容。但实际效果会受训练数据里语音类型的影响，跨语种使用的表现需要自己用实际音频验证。

扩散生成加化身渲染这条链路对显卡有实际要求，消费级显卡上跑完整流程会比较吃力。动手前建议先确认显存够不够，并考虑用短片段做端到端验证，减少反复调试的成本。

它的设计目标之一就是把动作生成和化身外观解耦：动作由音频驱动生成，外观来自你的化身资产。想换成自己的形象，需要保证化身资产能被渲染管线正确驱动，姿态坐标与绑定方式要对得上。

它用扩散模型生成动作，相比直接回归姿态的方法在多样性上更有优势，不容易每段语音都产出几乎一样的动作。但动作多样性也会受动作量化表示的质量和数据覆盖范围限制。