小红书开源语音编辑模型:能否只改局部不重录整段?

资讯 AI 应用前沿 全文 4827 字 · 约 13 分钟读完 分类Dots开源语音

小红书团队开源了 dots.tts.edit V1.1,这是一个能直接修改已有录音的端到端模型。你可以替换个别字词、调整局部语速或改变某句话的情绪,而不用重新录制整段音频。它支持中英双语,通过结构化标签精准控制编辑区域,其余部分保持原音色和韵律不变。相比传统 TTS 需要整段重合成,这种“局部手术刀”式的编辑方式大幅降

所属频道 开源生态

音频创作里有个老难题:录错一个字,或者某句话情绪不对,常常只能把整段推倒重录。语音合成能不能只改局部?这正是“语音编辑”要回答的事。

录错一个字、某句语气不对,整段就得重录——做音频内容的人大多被这件事折腾过。

像 Bilibili 开源的 IndexTTS 2 这类传统文本转语音(TTS)技术,强项是从零生成一段全新语音:给它文本和参考音色,它交出完整音频。可你只想把录音里的“勇敢”换成“渺小”,或让中间某句听上去更悲伤,传统 TTS 就做不了“局部修改”,只能拿整段文本重新合成一遍。结果字是对了,原录音里自然的呼吸感、细微停顿,连同说话人特有的嗓音质感,全变了。

小红书团队开源的 dots.tts.edit V1.1 盯的就是这个麻烦。它不负责从头生成语音,而是一个专门“修补”已有录音的端到端模型,核心思路很直白:只动你想动的地方,其余部分保持原样。

dots.tts.edit V1.1 能做的事

可以把它想成一个手艺很好的音频剪辑师。不过它不靠剪切波形干活,而是读懂语义和声学特征,把局部片段“重绘”出来。

1. 精准替换、插入与删除文本

这是最基础的一项。假设录音里说的是“Hello brave world.”,你觉得“brave”不合适,想换成“small”。在 dots.tts.edit 里不用重录,给出指令即可。模型会定位“brave”,用“small”的发音把它替掉,同时让前后的“Hello”和“world”在音色、音高、背景噪音上保持一致,听不出拼接痕迹。

2. 局部调整情感与风格

V1.1 的一大亮点,是支持“局部风格描述编辑”。过去调情绪,往往整句话一起变;现在可以点名让录音里某几个字变得“悲伤”,或让某一段听起来更“兴奋”。模型能读懂自然语言写出的风格描述,且只作用在目标区域。对配音演员和播客主持人来说很实用——一句台词情绪没到位,不必重录整段。

3. 微调韵律与节奏

语速快慢、音调高低、停顿长短,都归在韵律里。dots.tts.edit 允许对特定片段做调节,比如放慢某句话强调重点,或者在两个词中间加一个短暂停顿,让语气更自然。这些改动都限于局部,音频其他部分不受影响。

4. 组合编辑,一次完成

后期最麻烦的常是多处要改:既要换一个字,又要调两处语速,还得给结尾添上悲伤语气。按传统流程,这可能要多次渲染再手动拼接。dots.tts.edit 支持在一次请求里完成所有类型的修改,模型并行处理这些指令,最后输出一段流畅自然的完整音频。

它靠什么做到“只改局部”

不少 AI 工具自称能编辑,实际却常常“牵一发而动全身”。dots.tts.edit 能精准控制局部,靠的是它的技术架构设计。

以转录稿锚定的半形式化编辑指令

模型不走复杂的时间戳对齐路线,用的是一种基于转录稿的“语义时间线”接口。用户借助结构化标签(如<sub> 替换、<del> 删除、<emo> 情感、<pitch>音高等),把操作绑定到具体文本片段上。

这样做的好处是明确、可校验。比如指令'Hello <sub targ="small">brave</sub> world.'就清楚地告诉模型:目标是“brave”,操作是替换为“small”。指令若有歧义,模型会直接拒绝,而不是乱猜。它相当于一份外部可检查的“契约”,编辑的准确性由此有了保障。

连续自回归架构,避开离散 Token 的损失

dots.tts.edit 建立在 dots.tts 的连续自回归架构之上。它没有采用常见的离散 Token(那往往会损失音质细节),而是用 48 kHz 的 AudioVAE 把音频编码成连续潜变量。

具体流程是这样:语义编码器把音频块压缩成嵌入,送进基于 Qwen2.5-1.5B 初始化的大语言模型(LLM);LLM 在每个音频步输出隐状态,驱动一个流匹配(flow-matching)的 DiT 声学头,对下一个音频块去噪。与此同时,冻结的 CAM++ 说话人 x-vector 作为侧输入,保证生成的声音始终忠于原说话人的音色。

这套架构的好处,是能把音频细节保得极高。Seed-TTS-Eval 基准测试的结果显示,编辑后的音频在识别错误率、说话人相似度两项上,跟基座 TTS 模型的差距小到几乎可以忽略。换句话说,改过之后音质并没有打折。

团队要解决的是模型“只改该改的地方”。为此他们搭了一条专门的数据构造管线:针对每一种编辑操作,造出“操作-范围”受控的训练样本对——目标区域照指令改,区域之外则强制沿用源音频的原始上下文。这样训下来,模型既学会了精准执行编辑,也能让没动过的部分保持局部一致。

实际效果

小红书团队同时放出了 doteBench 基准,内含 2081 个中英文测试用例,文本、情感、韵律、停顿以及组合编辑五个维度都有覆盖。

评估结果里,dots.tts.edit V1.1 的指令遵循和局部保留都压过当前的开源方案。局部保留这一项尤其突出——说明它真能“改哪里动哪里”,而非把整段音频重绘一遍。音频质量上,它跟现有顶级开源系统处在一个水平,编辑功能并没有带来明显的音质下滑。

和同类产品比一比

要看懂 dots.tts.edit 的位置,可以拿 Bilibili 开源的 IndexTTS 2 对照一下。

对比维度 dots.tts.edit V1.1 (小红书) IndexTTS 2 (Bilibili)
产品定位 端到端语音编辑模型 工业级零样本 TTS
工作方式 保留原录音,只重生成被编辑的局部 输入文本整段重新合成,不保留原波形
文本修改 支持替换/插入/删除,未改部分逐字保留 改字需整段重合成,无法保证未修改部分一致
情感控制 局部情感编辑,支持自由形式风格描述 参考音频/情绪向量,通常作用于整句
韵律/语速 局部音高、语速编辑,只改指定片段 整段时长/语速控制
组合编辑 支持多处不同类型修改一次推理完成 不支持
开源协议 Apache-2.0,代码+权重+数据管线全开放 Bilibili 自定义协议,商用需确认条款

对比下来,IndexTTS 2 更擅长从零生成高质量语音,dots.tts.edit 则适合做后期修改。两者不是替代关系,而是互补。

上手方式

dots.tts.edit V1.1 已经开源,Python 环境和命令行调用都支持,另外还有网页界面可以试。

1. 准备环境

需要 Python 3.10–3.12。建议先建一个 conda 环境:

conda create -n dots_tts python=3.10 -y
conda activate dots_tts

2. 装库

从 PyPI 直接安装即可:

pip install dots.tts

也可以 clone 仓库后在本地安装:

git clone https://github.com/studio-dots-ai/dots.tts.git
cd dots.tts
pip install -e . -c constraints/recommended.txt

3. 命令行快速试跑

先准备一段源音频(如source.wav),再执行下面的命令。模型第一次使用时会自动下载并缓存。

dots.tts.edit \
  --model-name-or-path dots-studio/dots.tts.edit \
  --source-audio /path/to/source.wav \
  --instruction 'Hello <sub targ="small">brave</sub> world.' \
  --output edited.wav

4. 调用 Python API

开发者可以走 API,把它集成进自己的应用:

from dots.tts import DotsTtsEditRuntime
# 加载模型,建议使用 bfloat16 精度以节省显存
runtime = DotsTtsEditRuntime.from_pretrained(
    "dots-studio/dots.tts.edit", 
    precision="bfloat16"
)
# 执行编辑
result_audio = runtime.generate_edit(
    source_audio_path="/path/to/source.wav",
    instruction='Hello <sub targ="small">brave</sub> world.'
)

5. 网页界面 Playground

不想用命令行的话,项目也带了可视化的 Web 界面。进入apps/edit_playground/frontend 目录,执行 npm ci && npm run build,再启动后端服务:

python apps/edit_playground/app.py \
  --model-name-or-path dots-studio/dots.tts.edit \
  --optimize

打开浏览器访问对应地址,就能上传音频、填写指令,边改边听效果。

6. 在线快速体验

懒得在本地部署也行,Hugging Face Space 上可以直接用:把音频传上去、写好指令,在线就能试。dots-studio-dots-tts-edit.hf.space

应用场景想象

凡是音频质量要求高、改动又频繁的领域,这项技术都用得上。

  • 播客和有声书后期:主播念错一个字,或者某句话语气不到位,过去往往要把整段重录一遍,如今只改局部就行。时间省下来了,多次重录造成的音色不统一也一并躲开了。
  • 短视频与口播内容:拍口播时口误、节奏不对是常事。用 dots.tts.edit 不用重拍,改掉口误或调整语速,原音色保持不变,素材可以反复用。
  • 配音与影视制作:同一句台词,导演可能想要“平静”和“激动”两版。传统办法是让配音演员录两遍,现在做局部情感编辑,很快就能生成不同情绪的版本,方便比较挑选。
  • 在线教育课程更新:课程内容过时或出现事实性错误,不必整课重录。定位到出错片段,替换文本或重新合成,课程很快就能更新。

写在最后

dots.tts.edit V1.1 开源,说明语音编辑正从“实验室概念”变成“工程化可用”。它并不打算取代传统 TTS,填的是“局部修改”这块长期空着的位子。

内容创作者因此试错成本更低,创作自由度更高。一个小错误不用推翻重来,改完也不必担心声音丢掉原本的“人味”。

当然,眼下的技术还有短板。背景噪音特别复杂的音频,编辑效果可能打折扣;超长音频处理起来,显存占用同样是要考虑的问题。

不过随着架构优化和社区开发推进,这些麻烦有望一点点解决。对语音技术感兴趣,或者正被音频后期折腾的人,可以试试这个工具。GitHub 仓库、HuggingFace 模型库和 arXiv 技术论文都已公开,文档齐全,社区也活跃,值得深入看看。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. DeepSeek Harness 实战:从零搭建你的第一个 AI Agent 工作流

    DeepSeek Harness (dsh) 是一款开源的 Agent 运行框架,它让 AI 能够直接操作你的本地文件系统和终端。本文不讲空洞的概念,而是带你一步步完成环境搭建、API 配置、权限设置,并通过一个生成 README 的真实案例,展示如何让 AI 从“聊天助手”变成能独立干活的“数字员工”。适合希望提升开

    来源 AI 应用前沿
  2. Google三款新模型齐发:Hydrogen提速19%,API配额省24%

    2026年11月13日 AI 动态:Google 发布 Gemini 4 Hydrogen、Carbon 和 Decision 1,以价格和配额效率发起攻势;United Airlines 因安全风险屏蔽 AI 订票 Agent,PayPal 通过工程手段将助手准确率提升至 95%;开放权重模型向生命科学领域下沉。

    来源 AI 应用前沿
  3. 开源社区请愿黄仁勋回归英伟达

    据MIT Technology Review报道,一项要求恢复黄仁勋担任英伟达CEO的请愿在社交媒体上流传,并出现包括埃隆·马斯克在内的知名签名者。事件折射出开源社区对英伟达GPU生态、AI算力供应与公司领导力的复杂情绪。本文梳理请愿背景、黄仁勋与开源运动的关系,并分析其象征意义。

    来源 AI 科技快讯
  4. 华为云开源CloudRobo-WM1.2:昇腾原生,具身智能落地提速

    IT之家 11 月 16 日消息,在今日的华为云 CloudRobo 具身世界模型发布会上,华为云“行业 AI 梦工厂”正式发布并开源昇腾原生的具身世界模型 CloudRobo-WM1.2,通过五大核心技术突破,加速具身智能从实验室走向规模化落地。 CloudRobo-WM1.2 模型采用共享世界模型骨干网络实现预测增

    来源 AI 行业观察
  5. 英伟达份额降至28%,摩根大通称CUDA壁垒正被AI攻破

    摩根大通指出,英伟达在2026年算力协议中份额仅剩28%,AMD、谷歌TPU等竞品强势崛起;与此同时,CUDA护城河三天被AI攻破。开源市场则遭遇监管收紧,出口合规风险上升。尽管英伟达当前估值具备吸引力,但支撑高增速预期的两大引擎均已动摇。

    来源 华尔街见闻
  6. openPangu-2.1-Pro上线华为云MaaS:Agent开发等三方向升级

    IT之家 11 月 15 日消息,华为云今日宣布,华为云 MaaS 模型即服务平台正式上线开源盘古模型 openPangu-2.1-Pro。 该模型围绕 Agent 开发、AI 编码和推理优化三大方向进行能力升级,在深度研究、鸿蒙系统操控、鸿蒙 App 开发、昇腾算子生成及推理链路优化等场景实现增强。 在 Agent

    来源 AI 行业观察
  7. 黄仁勋被请愿回归英伟达CEO:马斯克等签名升温

    据MIT Technology Review报道,一项要求恢复黄仁勋担任英伟达CEO的请愿在社交媒体上流传,并出现包括埃隆·马斯克在内的知名签名者。事件折射出开源社区对英伟达GPU生态、AI算力供应与公司领导力的复杂情绪。本文梳理请愿背景、黄仁勋与开源运动的关系,并分析其象征意义。

    来源 AI 行业观察
  8. 华为云CloudRobo-WM1.2亮相:机器人“大脑”自研后与模型公司竞争?

    华为云开始亲自下场训练具身智能的“大脑”。11月16日,在华为云CloudRobo具身世界模型发布会上,华为云正式发布昇腾原生具身世界模型CloudRobo-WM1.2,并宣布将其开源。这款模型能够在理解物理环境的基础上预测未来变化,并直接生成机器人动作。按照华为云披露的测试结果,其在RoboTwin 2.0、LIBE

    来源 腾讯网
  9. 摩根大通:英伟达2026年后算力份额仅28%,CUDA壁垒正被AI攻破

    英伟达正面临来自两端的结构性压力,而这与创始人黄仁勋的离任同等重要,甚至可能更为深远。摩根大通策略师Michael Cembalest在最新研报《英伟达与AI的下一步》中指出,前沿AI实验室正将采购重心向AMD、谷歌、亚马逊等多家供应商分散,英伟达在2026年后计算协议中的份额仅占28%。与此同时,开源模型生态圈则面临

    来源 腾讯网
  10. AI生成代码该不该开源:Anthropic模式触动开发者争论

    作者 | 褚杏娟“所有 AI 生成的代码都应该开源。”11 月 15 日,开源开发者 Jakub T. Jankiewicz 公开呼吁将 AI 生成的代码全部开源,或者直接放入公共领域。他认为,AI 模型从开源社区几十年积累的代码和技术知识中受益,企业却可以利用这些模型生成闭源软件,将原本属于社区的集体成果转化为自己的

    来源 腾讯网
  11. 加州起诉OpenAI:指控AI智能体失控引发网络安全事件

    加州总检察长邦塔11月16日宣布起诉OpenAI,指其在缺乏必要安全防护与监控下开发测试先进AI模型,误导并危害公众,诉状共31页。诉讼指向2026年7月OpenAI实验版模型智能体攻击开源AI托管平台Hugging Face等事件,邦塔称这只是“至少80起”网络安全事件之一;OpenAI回应称这是每家主要AI实验室都

    来源 凤凰科技
  12. DeepSeek长对话72小时上限:先给出口,再设限制

    11月15日下午,突然有多位DeepSeek用户表示,当他们想接着几天前的对话往下聊时,手机App就会弹出一条提示:“由于算力不足,已超过72小时的长对话暂不可用,可导出对话到其他App使用。”

    来源 凤凰科技
  13. DeepSeek长对话超72小时被限:算力不足,官方尚未回应

    11月15日下午,突然有多位DeepSeek用户表示,当他们想接着几天前的对话往下聊时,手机App就会弹出一条提示:“由于算力不足,已超过72小时的长对话暂不可用,可导出对话到其他App使用。” 社区里,有用户整理了同时出现的另外几种报错,比如“内容超长,请删减后再试”、“修改输入次数超过限制,消息未发送”、“消息数量

    来源 AI 行业观察
  14. 苹果智能眼镜计划2027年6月WWDC亮相,Siri成主要交互方式

    苹果计划在2027年6月全球开发者大会上展示首款智能眼镜,并争取年底前出货。据彭博社记者马克·古尔曼报道,该产品内部代号N50,以Siri语音交互为核心,首代预计不配显示屏,用户可通过Siri识别建筑、翻译对话、处理消息日历及控制音乐,第三方应用功能则由配对的iPhone协同实现。

    来源 凤凰科技
  15. 苹果智能眼镜N50:2027年6月WWDC发布,主打Siri交互

    IT之家 11 月 16 日消息,据彭博社记者马克 · 古尔曼昨日透露,苹果计划在 2027 年 6 月的 WWDC 发布公司首款智能眼镜,并在当年年底开始出货。 IT之家从原报道获悉,这款智能眼镜原型机的内部代号为“N50”,其镜框据称略小于 Meta 第二代 Ray-Ban。部分测试机采用椭圆形摄像头开孔,直接集成

    来源 AI 行业观察
向下滚动自动加载更多