AudioGen-Omni— 快手推出的多模态音频生成框架

AudioGen-Omni是什么

audiogen-omni是快手发布的一款先进多模态音频生成框架，能够根据视频、文本或两者结合生成高质量的音频、语音及歌曲。该框架采用统一的歌词-文本编码器与创新的相位对齐各向异性位置注入（paapi）技术，实现精准的视听同步与跨模态协调。支持多语言输入，具备高效推理能力，仅需1.91秒即可生成8秒音频，在多项音频生成任务中表现优异，广泛适用于视频配音、语音合成和音乐创作等场景。

AudioGen-Omni的主要功能

• 多模态音频生成：支持从视频、文本或联合输入生成高保真音频，涵盖语音、歌曲和环境音效。
• 精准视听对齐：利用PAAPI技术实现音频与视频画面的唇形同步和节奏匹配，提升感知一致性。
• 多语言兼容性：可接受多种语言文本输入，并生成对应语种的自然语音与歌唱内容。
• 高速推理性能：生成8秒音频仅耗时1.91秒，显著优于现有主流音频生成模型。
• 鲁棒的模态适应能力：即使在缺失某一输入模态（如仅有文本或仅有视频）的情况下，仍能稳定输出高质量音频。
• 高保真音质输出：生成音频在语义内容与声学特征上高度贴合输入条件，支持细腻的情感与语调表达。

AudioGen-Omni的技术原理

• 多模态扩散Transformer（MMDiT）：将视频、音频和文本统一映射至共享语义空间，通过联合训练策略，利用大规模真实视频-文本-音频三元组数据强化跨模态理解。
• 歌词-文本统一编码器：融合grapheme与phoneme信息，通过多语言统一 tokenizer 和 ConvNeXt 结构生成帧级对齐的稠密表示，适配朗读与歌唱双重任务。
• 相位对齐各向异性位置注入（PAAPI）：引入旋转位置编码（RoPE）机制，选择性作用于时序模态（如视频帧序列、音频流），增强跨模态时间对齐精度。
• 动态条件控制机制：通过解冻所有模态并掩码缺失输入，突破传统文本冻结范式的限制，实现灵活的多条件生成。
• 联合注意力融合结构：基于AdaLN（自适应层归一化）优化跨模态特征交互，借助联合注意力模块加强信息流通与语义融合。

AudioGen-Omni的项目地址

• 项目官网：https://www.php.cn/link/ae5b201527b188809873d2f108db3a79
• arXiv技术论文：https://www.php.cn/link/ae5b201527b188809873d2f108db3a79

AudioGen-Omni的应用场景

• 视频智能配音：自动为短视频、动画或影视片段生成口型同步的语音或配乐，提升内容生产效率。
• 语音合成应用：将文字快速转换为自然、富有表现力的语音，适用于有声书、导航播报、虚拟助手等场景。
• AI辅助作曲：依据歌词或视频情境生成风格匹配的旋律与人声演唱，助力音乐创作者快速原型化作品。
• 场景化音效生成：根据文本描述或视频动作内容生成逼真的环境声、动作声等音效，增强视听沉浸体验。