小红书开源语音编辑模型:能否只改局部不重录整段?
小红书团队开源了 dots.tts.edit V1.1,这是一个能直接修改已有录音的端到端模型。你可以替换个别字词、调整局部语速或改变某句话的情绪,而不用重新录制整段音频。它支持中英双语,通过结构化标签精准控制编辑区域,其余部分保持原音色和韵律不变。相比传统 TTS 需要整段重合成,这种“局部手术刀”式的编辑方式大幅降
音频创作里有个老难题:录错一个字,或者某句话情绪不对,常常只能把整段推倒重录。语音合成能不能只改局部?这正是“语音编辑”要回答的事。
录错一个字、某句语气不对,整段就得重录——做音频内容的人大多被这件事折腾过。
像 Bilibili 开源的 IndexTTS 2 这类传统文本转语音(TTS)技术,强项是从零生成一段全新语音:给它文本和参考音色,它交出完整音频。可你只想把录音里的“勇敢”换成“渺小”,或让中间某句听上去更悲伤,传统 TTS 就做不了“局部修改”,只能拿整段文本重新合成一遍。结果字是对了,原录音里自然的呼吸感、细微停顿,连同说话人特有的嗓音质感,全变了。
小红书团队开源的 dots.tts.edit V1.1 盯的就是这个麻烦。它不负责从头生成语音,而是一个专门“修补”已有录音的端到端模型,核心思路很直白:只动你想动的地方,其余部分保持原样。
dots.tts.edit V1.1 能做的事
可以把它想成一个手艺很好的音频剪辑师。不过它不靠剪切波形干活,而是读懂语义和声学特征,把局部片段“重绘”出来。
1. 精准替换、插入与删除文本
这是最基础的一项。假设录音里说的是“Hello brave world.”,你觉得“brave”不合适,想换成“small”。在 dots.tts.edit 里不用重录,给出指令即可。模型会定位“brave”,用“small”的发音把它替掉,同时让前后的“Hello”和“world”在音色、音高、背景噪音上保持一致,听不出拼接痕迹。
2. 局部调整情感与风格
V1.1 的一大亮点,是支持“局部风格描述编辑”。过去调情绪,往往整句话一起变;现在可以点名让录音里某几个字变得“悲伤”,或让某一段听起来更“兴奋”。模型能读懂自然语言写出的风格描述,且只作用在目标区域。对配音演员和播客主持人来说很实用——一句台词情绪没到位,不必重录整段。
3. 微调韵律与节奏
语速快慢、音调高低、停顿长短,都归在韵律里。dots.tts.edit 允许对特定片段做调节,比如放慢某句话强调重点,或者在两个词中间加一个短暂停顿,让语气更自然。这些改动都限于局部,音频其他部分不受影响。
4. 组合编辑,一次完成
后期最麻烦的常是多处要改:既要换一个字,又要调两处语速,还得给结尾添上悲伤语气。按传统流程,这可能要多次渲染再手动拼接。dots.tts.edit 支持在一次请求里完成所有类型的修改,模型并行处理这些指令,最后输出一段流畅自然的完整音频。
它靠什么做到“只改局部”
不少 AI 工具自称能编辑,实际却常常“牵一发而动全身”。dots.tts.edit 能精准控制局部,靠的是它的技术架构设计。
以转录稿锚定的半形式化编辑指令
模型不走复杂的时间戳对齐路线,用的是一种基于转录稿的“语义时间线”接口。用户借助结构化标签(如<sub> 替换、<del> 删除、<emo> 情感、<pitch>音高等),把操作绑定到具体文本片段上。
这样做的好处是明确、可校验。比如指令'Hello <sub targ="small">brave</sub> world.'就清楚地告诉模型:目标是“brave”,操作是替换为“small”。指令若有歧义,模型会直接拒绝,而不是乱猜。它相当于一份外部可检查的“契约”,编辑的准确性由此有了保障。
连续自回归架构,避开离散 Token 的损失
dots.tts.edit 建立在 dots.tts 的连续自回归架构之上。它没有采用常见的离散 Token(那往往会损失音质细节),而是用 48 kHz 的 AudioVAE 把音频编码成连续潜变量。
具体流程是这样:语义编码器把音频块压缩成嵌入,送进基于 Qwen2.5-1.5B 初始化的大语言模型(LLM);LLM 在每个音频步输出隐状态,驱动一个流匹配(flow-matching)的 DiT 声学头,对下一个音频块去噪。与此同时,冻结的 CAM++ 说话人 x-vector 作为侧输入,保证生成的声音始终忠于原说话人的音色。
这套架构的好处,是能把音频细节保得极高。Seed-TTS-Eval 基准测试的结果显示,编辑后的音频在识别错误率、说话人相似度两项上,跟基座 TTS 模型的差距小到几乎可以忽略。换句话说,改过之后音质并没有打折。
团队要解决的是模型“只改该改的地方”。为此他们搭了一条专门的数据构造管线:针对每一种编辑操作,造出“操作-范围”受控的训练样本对——目标区域照指令改,区域之外则强制沿用源音频的原始上下文。这样训下来,模型既学会了精准执行编辑,也能让没动过的部分保持局部一致。
实际效果
小红书团队同时放出了 doteBench 基准,内含 2081 个中英文测试用例,文本、情感、韵律、停顿以及组合编辑五个维度都有覆盖。
评估结果里,dots.tts.edit V1.1 的指令遵循和局部保留都压过当前的开源方案。局部保留这一项尤其突出——说明它真能“改哪里动哪里”,而非把整段音频重绘一遍。音频质量上,它跟现有顶级开源系统处在一个水平,编辑功能并没有带来明显的音质下滑。
和同类产品比一比
要看懂 dots.tts.edit 的位置,可以拿 Bilibili 开源的 IndexTTS 2 对照一下。
| 对比维度 | dots.tts.edit V1.1 (小红书) | IndexTTS 2 (Bilibili) |
|---|---|---|
| 产品定位 | 端到端语音编辑模型 | 工业级零样本 TTS |
| 工作方式 | 保留原录音,只重生成被编辑的局部 | 输入文本整段重新合成,不保留原波形 |
| 文本修改 | 支持替换/插入/删除,未改部分逐字保留 | 改字需整段重合成,无法保证未修改部分一致 |
| 情感控制 | 局部情感编辑,支持自由形式风格描述 | 参考音频/情绪向量,通常作用于整句 |
| 韵律/语速 | 局部音高、语速编辑,只改指定片段 | 整段时长/语速控制 |
| 组合编辑 | 支持多处不同类型修改一次推理完成 | 不支持 |
| 开源协议 | Apache-2.0,代码+权重+数据管线全开放 | Bilibili 自定义协议,商用需确认条款 |
对比下来,IndexTTS 2 更擅长从零生成高质量语音,dots.tts.edit 则适合做后期修改。两者不是替代关系,而是互补。
上手方式
dots.tts.edit V1.1 已经开源,Python 环境和命令行调用都支持,另外还有网页界面可以试。
1. 准备环境
需要 Python 3.10–3.12。建议先建一个 conda 环境:
conda create -n dots_tts python=3.10 -y
conda activate dots_tts2. 装库
从 PyPI 直接安装即可:
pip install dots.tts也可以 clone 仓库后在本地安装:
git clone https://github.com/studio-dots-ai/dots.tts.git
cd dots.tts
pip install -e . -c constraints/recommended.txt3. 命令行快速试跑
先准备一段源音频(如source.wav),再执行下面的命令。模型第一次使用时会自动下载并缓存。
dots.tts.edit \
--model-name-or-path dots-studio/dots.tts.edit \
--source-audio /path/to/source.wav \
--instruction 'Hello <sub targ="small">brave</sub> world.' \
--output edited.wav4. 调用 Python API
开发者可以走 API,把它集成进自己的应用:
from dots.tts import DotsTtsEditRuntime
# 加载模型,建议使用 bfloat16 精度以节省显存
runtime = DotsTtsEditRuntime.from_pretrained(
"dots-studio/dots.tts.edit",
precision="bfloat16"
)
# 执行编辑
result_audio = runtime.generate_edit(
source_audio_path="/path/to/source.wav",
instruction='Hello <sub targ="small">brave</sub> world.'
)5. 网页界面 Playground
不想用命令行的话,项目也带了可视化的 Web 界面。进入apps/edit_playground/frontend 目录,执行 npm ci && npm run build,再启动后端服务:
python apps/edit_playground/app.py \
--model-name-or-path dots-studio/dots.tts.edit \
--optimize打开浏览器访问对应地址,就能上传音频、填写指令,边改边听效果。
6. 在线快速体验
懒得在本地部署也行,Hugging Face Space 上可以直接用:把音频传上去、写好指令,在线就能试。dots-studio-dots-tts-edit.hf.space
应用场景想象
凡是音频质量要求高、改动又频繁的领域,这项技术都用得上。
- 播客和有声书后期:主播念错一个字,或者某句话语气不到位,过去往往要把整段重录一遍,如今只改局部就行。时间省下来了,多次重录造成的音色不统一也一并躲开了。
- 短视频与口播内容:拍口播时口误、节奏不对是常事。用 dots.tts.edit 不用重拍,改掉口误或调整语速,原音色保持不变,素材可以反复用。
- 配音与影视制作:同一句台词,导演可能想要“平静”和“激动”两版。传统办法是让配音演员录两遍,现在做局部情感编辑,很快就能生成不同情绪的版本,方便比较挑选。
- 在线教育课程更新:课程内容过时或出现事实性错误,不必整课重录。定位到出错片段,替换文本或重新合成,课程很快就能更新。
写在最后
dots.tts.edit V1.1 开源,说明语音编辑正从“实验室概念”变成“工程化可用”。它并不打算取代传统 TTS,填的是“局部修改”这块长期空着的位子。
内容创作者因此试错成本更低,创作自由度更高。一个小错误不用推翻重来,改完也不必担心声音丢掉原本的“人味”。
当然,眼下的技术还有短板。背景噪音特别复杂的音频,编辑效果可能打折扣;超长音频处理起来,显存占用同样是要考虑的问题。
不过随着架构优化和社区开发推进,这些麻烦有望一点点解决。对语音技术感兴趣,或者正被音频后期折腾的人,可以试试这个工具。GitHub 仓库、HuggingFace 模型库和 arXiv 技术论文都已公开,文档齐全,社区也活跃,值得深入看看。