并行音频生成
SoundStorm 用并行解码替代自回归解码，一次生成多个音频 token，而非逐个生成。针对长序列，推理时间相比 AudioLM 的自回归方法缩短 100 倍。
SoundStorm
AI TOOL PROFILE工具资料用并行解码把长音频生成速度提升 100 倍
官网地址 https://research.google/blog/soundstorm-efficient-parallel-audio-generation/
价格官网未标价
平台—
归类配音与音频
收录2023-06-22
复核2023-06-22
编辑评分
4.2 / 5
★★★★☆
SoundStorm编辑总结
SoundStorm 是 Google Research 于 2023 年 6 月发布的高效并行音频生成技术，核心是替换 AudioLM 中的自回归声学解码步骤。它利用双向注意力 Conformer 架构和受 MaskGIT 启发的解码方案，并行生成音频 token，使长序列推理时间缩短 100 倍，同时保持与自回归解码相同的音质，并在音色和声学条件一致性上更优。结合 SPEAR-TTS 的文本到语义建模阶段，SoundStorm 能合成高质量自然对话，支持通过文字稿控制说话内容、通过短语音提示控制说话人音色、通过文字稿标注控制说话人轮次。
SoundStorm是什么？
SoundStorm 是 Google Research 提出的音频生成方法，由 Zalán Borsos 和 Marco Tagliasacchi 等人开发，论文于 2023 年 6 月 22 日发布在 Google Research 博客。它解决的问题是：传统自回归音频模型逐个生成 token，推理速度慢，尤其面对长序列时。
SoundStorm 聚焦于音频生成流程中的声学建模阶段。它采用两个新要素：一是适配 SoundStream 神经编解码器输出 token 特性的架构，二是受图像生成方法 MaskGIT 启发的解码方案，专为音频 token 设计。相比 AudioLM 的自回归解码，SoundStorm 能并行生成 token，长序列推理时间缩短 100 倍。
对于普通用户，SoundStorm 目前是研究项目，没有直接可用的产品界面。研究人员和开发者可以基于论文理解其并行解码思路，用于语音合成、音乐生成等方向的实验。结合 SPEAR-TTS 的文本到语义阶段，它可以合成多说话人对话，并支持通过文字稿和短语音提示控制内容与音色。
SoundStorm核心功能
双向 Conformer 架构
模型采用双向注意力 Conformer，专门适配 SoundStream 神经编解码器输出的音频 token 特性，在并行生成时保持声学质量。
MaskGIT 式解码
解码方案受图像生成方法 MaskGIT 启发，并针对音频 token 做了调整，使模型能高效生成长音频 token 序列。
多说话人对话合成
结合 SPEAR-TTS 的文本到语义建模阶段，SoundStorm 能合成高质量自然对话，通过文字稿控制内容，通过短语音提示控制音色，通过标注控制说话人轮次。
声学一致性提升
相比 AudioLM 的自回归解码，SoundStorm 生成的音频在音色和声学条件上一致性更高，同时保持相同的音质水平。
SoundStorm值不值得用？
当你的研究或开发需要快速生成大量长音频、且关注推理效率时，SoundStorm 的并行解码思路值得参考——它把长序列推理时间缩短了 100 倍，同时保持与自回归解码相同的音质。当你需要直接可用的配音工具、成品级语音产品或开箱即用的音乐生成界面时，SoundStorm 目前是研究项目，不提供面向普通用户的产品。它更适合作为技术方案被集成到更大的音频生成管线中，尤其是与 SPEAR-TTS 等文本到语义模型配合使用。
建议选它的情况
- 需要快速生成长音频的研究或开发场景
- 关注音频生成推理效率、希望降低延迟的团队
- 需要合成多说话人自然对话、且要控制说话内容和音色的项目
- 已经在使用 SoundStream 神经编解码器、想替换声学建模模块的开发者
不建议选它的情况
- 需要开箱即用配音工具、不打算做技术集成的普通用户
- 需要成品级语音产品界面、不关心底层模型的场景
- 对音频生成流程完全没有技术背景、无法自行搭建推理环境的用户
SoundStorm使用建议
入门先把路子走对
- 先读博客再读论文Google Research 博客提供了概览和对话合成示例，先看博客理解 SoundStorm 要解决什么问题，再深入论文细节。
- 理解它在流程中的位置SoundStorm 只负责声学建模阶段，前面还需要语义建模（如 SPEAR-TTS）提供语义 token。搭建管线时不要漏掉前序步骤。
- 从对话示例入手博客给出了带文字稿标注的对话合成示例，可以直接对照输入输出理解文字稿、语音提示和说话人轮次控制分别起什么作用。
进阶省时间也省钱
- 关注 SoundStream 依赖SoundStorm 的架构专门适配 SoundStream 神经编解码器输出的音频 token。如果你用其他编解码器，需要确认 token 特性是否兼容。
- 对比 AudioLM 的推理成本长序列场景下并行解码比自回归解码快 100 倍，短序列时差距会缩小。评估是否引入时，先算清你的典型序列长度和延迟要求。
- 用一致性指标选方案如果项目对音色和声学条件一致性敏感，SoundStorm 在这项上的表现优于 AudioLM 自回归解码，可以作为选型依据之一。
SoundStorm适合谁用？
音频生成方向研究者
推荐关注并行解码、非自回归生成和神经音频编解码的科研人员，可以基于 SoundStorm 的架构和解码方案做进一步实验。
语音合成开发者
推荐正在搭建 TTS 或对话合成管线、希望降低推理延迟的开发者，可以参考 SoundStorm 替换声学建模阶段的自回归解码。
音乐生成探索者
有条件研究通用音频和音乐生成的团队，SoundStorm 的并行解码思路可迁移到音乐 token 序列生成，但需自行验证编解码器兼容性。
普通配音用户
不推荐需要直接录制或生成配音、不打算做技术集成的普通用户，SoundStorm 没有面向终端用户的产品界面，不适合直接使用。
SoundStorm优点和缺点
优点
- 长序列推理时间相比 AudioLM 自回归解码缩短 100 倍
- 并行解码下音质与自回归方法相同
- 音色和声学条件一致性优于自回归解码
- 结合 SPEAR-TTS 可合成多说话人自然对话
- 支持通过文字稿、语音提示和标注控制对话生成
缺点
- 目前是研究项目，没有面向普通用户的产品界面
- 只负责声学建模阶段，需要配合语义建模模型使用
- 架构专门适配 SoundStream，更换编解码器需额外验证
SoundStorm关键指标
| 指标 | 数值 | 数据来源 |
|---|---|---|
| 推理提速 | 100x | Google Research 博客 |
| 发布日期 | June 22, 2023 | Google Research 博客 |
SoundStorm常见问题
SoundStorm 比 AudioLM 快多少？＋
针对长序列，SoundStorm 的并行解码把推理时间缩短了 100 倍。原因是 AudioLM 依赖自回归解码，逐个生成 token；SoundStorm 改为并行生成，一次产出多个 token，序列越长优势越明显。
SoundStorm 生成的音频质量会下降吗？＋
不会。根据发布说明，SoundStorm 生成音频的质量与 AudioLM 自回归解码相同，并且在音色和声学条件一致性上更高。它是在不牺牲音质的前提下提速的。
SoundStorm 能直接用来做配音吗？＋
SoundStorm 是研究项目，没有面向普通用户的配音产品界面。结合 SPEAR-TTS 的文本到语义建模阶段，它可以合成高质量自然对话，并支持通过文字稿控制说话内容、通过短语音提示控制音色、通过标注控制说话人轮次，但需要技术团队自行搭建管线。
SoundStorm 和 AudioLM 是什么关系？＋
SoundStorm 是 AudioLM 的改进。AudioLM 把音频生成分为语义建模和声学建模两步，SoundStorm 专门替换第二步的声学建模，用并行解码取代原有的自回归解码，从而在保持音质的同时大幅提速。
SoundStorm 支持控制说话人吗？＋
支持。结合 SPEAR-TTS 后，可以通过文字稿控制说话内容，通过短语音提示控制说话人音色，通过文字稿标注控制说话人轮次，因此能合成多说话人对话。
