清华团队给AI音频分离换活刻度:频带边界跟着内容走

资讯 腾讯网 作者:科技行者 全文 3252 字 · 约 9 分钟读完 分类影视

你有没有想过,为什么电影混音师能一耳朵分辨出枪声、台词和配乐,哪怕它们全挤在同一段音频里?人耳在做一件很神奇的事:根据不同频段里藏着的信息密度,自动调整自己的"注意力分辨率"。高音区如果藏着密集的乐器泛音,耳朵会分得特别细;低音区如果只是单调的嗡嗡声,耳朵就懒得细究。可是让AI模型来做音频分离的时候,这...

所属频道 影视与游戏

电影混音师能在同一段音频里一耳朵分出枪声、台词和配乐,这事人耳干得很巧妙:它会看各个频段里的信息密度,自己调"注意力分辨率"。高音区要是挤着密集的乐器泛音,耳朵就分得格外细;低音区只是单调的嗡嗡声,耳朵便懒得细究。

可轮到AI模型做音频分离,这条朴素的道理反而被丢掉了。

**症结在哪**

音频源分离,说穿了就是从一段混合录音里,把人声、音乐、环境音这些不同来源的声音逐个拆开。电影重新混音、助听设备、会议转录自动打字幕,都靠这个任务撑着。

主流做法是先做一件事:把声音转换到

频谱图

问题就出在这一步——一段完整音频转换之后,

这套思路最早来自

分带

但里面藏着一个此前没人注意的设计缺陷:无论进来的是什么样的混音内容,

好比一家餐厅,不管来的是独自用餐的客人还是二十人的聚会团,永远只摆四人桌,多的人挤一挤,少的位置空着。不这么固定摆放,后厨备菜和上菜流程就得随时调整,管理成本太高,索性一刀切。代价是,真正需要密集关注的频段,比如几种乐器泛音挤在一起的区域,可能被塞进同一个宽频带,信息被压扁;内容稀疏、没什么信息量的频段反倒可能切得很细,token预算白白浪费。

清华大学的研究团队在这篇论文里点出了这个矛盾,并给出一个让分带边界"活起来"的方案,叫

**DBS到底做了什么**

DBS的核心思路一句话就能说完:频带的数量保持不变,频带的位置和宽度跟着输入内容走。

原来的固定分带像一把刻度写死的尺子,量什么东西都用同一组刻度。DBS则像智能卷尺,量之前先扫一眼被测对象,信息密集的地方自动加密刻度,平坦区域自动放宽刻度,但刻度总数永远是一百个,不多也不少。不限定总刻度数,模型想加多少加多少,计算成本直接失控;完全不让它调整刻度疏密,又会退回原来那种浪费预算的老问题。DBS要解的,正是"预算固定、分配要灵活"这道题。

具体怎么实现,论文给了一套完整流程。

第一步,DBS把整个频谱的频率轴切成四个固定"大区块",论文里叫B1到B4。每个区块预先分好一份token预算,比如总共128个频带token,四个区块可能各分32个。这一步固定,不随输入改变。

频率块

那为什么不干脆把整个频谱当成一个大区块,让边界在全局范围内随便挪?论文用消融实验回答了:只用一个区块,模型会把几乎所有边界挤到低频区,高频区几乎没人管,平均

区块分好,DBS接着在每个区块内部决定边界具体放在哪。它用一个小型神经网络(卷积层加BiLSTM)分析区块里每个频率点的特征,同时算出每个点的幅度统计量,包括该点在时间上的平均能量、峰值与平均值之比、标准差与平均值之比。

SI-SDR

两类信息融合后,模型给每个候选"切分点"打分,分高的地方更可能被选为边界。有意思的是分数由两部分组成:一部分来自学到的深层特征对比,衡量相邻两个频率点在语义特征上差多少;另一部分直接比较相邻点的幅度统计量差了多少,这一项论文管它叫"

分数打完,怎么从一堆候选里挑出最终要用的边界?DBS用了一个叫"

Hard Top-K

边界选好后,每个频带包含的频率点数量可能长短不一,可分离模型要求每个token的维度必须一致。DBS用

这套token送进分离器主体网络(比如

**把压缩的信息还原回去**

这一步上,DBS安排了三道工序。

第一道叫"

第二道叫"

第三道工序是频率共享的掩码预测头,它负责把细化之后的特征映射成每个频率点上的结果。

还有一个细节很技术,却相当关键:Hard Top-K这种“选中或不选中”的操作不可导,梯度无法直接反传,边界预测网络也就没法训练。为此,DBS用了一种叫“

直通估计器

具体来说,前向过程照旧使用硬选择的结果,反向传播时则换成一个柔性近似值来计算梯度。靠这个办法,边界预测网络才能和整个分离任务一起被训练、被调整,而不是提前固定下来、与分离效果脱节的独立模块。

**实验结果说话**

这套方案究竟管不管用,论文在三个数据集上做了验证:

在

在

在

论文还设计了一组对照实验,想确认提升是否来自“动态”这个设计本身。他们训练了一个与DBS架构完全一致、只是边界固定不变的“均匀分带”对照组,DBS仍然比它高出1.07dB。更有意思的是,他们还测试了一个“

另有一个很直观的分析:拿同一个训练好的DBS-BSRNN模型,推理时把它学到的边界换成别的固定布局(均匀分带或BSRNN原版布局),平均SI-SDR便从9.07掉到8.62或7.80dB。模型权重一点没动,唯一变量就是边界位置,分数照样往下掉。可见边界放在哪里,本身确实实实在在地影响分离质量,并非训练过程中顺带捎上的副产品。

论文附录里还有一张很生动的图,取自30秒的电影片段《Tears of Steel》。画面从安静对话切到枪战配乐、再切到电子音效,DBS预测的边界也实时跟着移动,而区块划分和128个频带的总预算始终没变。这张图把“内容自适应”四个字变成了能直接看见的东西。

**这篇论文留下的疑问**

读完论文,有个细节让我反复琢磨:DBS预先定好要分几个频带(比如128个),再在这个固定数量里调整位置。但作者在结尾坦承,他们试过让模型自己学习“要分几个频带”,结果模型几乎总是想要最大数量,因为更多的token理论上总能带来更精细的表示。这不奇怪,却也说明一个问题:不给模型设一个明确的算力代价约束,它永远会朝“更贵更精细”的方向走,就像一个不限预算的装修方案,设计师永远会建议你多加几个灯。下一步真正难的,恐怕不是“怎么分”,而是“怎么让模型在节省预算和追求精度之间做出权衡”,这得引入某种显式的复杂度惩罚机制才行。

另一处我觉得有意思的地方是,论文那张边界概率可视化图显示,B2区块(大约对应1.4到2.8千赫兹这一段)的边界几乎锁死,跨mixture的边界替换率只有7.2%,远低于B4区块(12到22千赫兹)的46.13%。这其实挺符合直觉:人声的基频和大部分谐波能量恰好集中在这个中低频段,无论混音内容是什么,这一段的信息结构都相对稳定,模型自然学到了相对固定的切分方式;高频区本身内容更稀疏、更随机,边界也就跟着更活跃地变动。可见DBS学到的不只是“哪里该细分”,某种程度上,它可能还隐式地学到了“哪个频段稳定、哪个频段多变”这种更结构化的先验。

顺着这个思路往下想,有个问题不算直接相关,却似乎隐隐对应得上:人耳的频率分辨力本来就不是平均铺开的,耳蜗对中低频的分辨要比高频细得多。DBS 从数据中学到的这种不均匀关注方式,跟生物听觉系统的某些特点放在一起看,两者会不会在别的路径上走到同一处?做音频感知研究的人,或许可以沿着这条线再往下挖一挖。

Q&A

Q1:动态分带DBS和传统的固定分带方法比,核心区别是什么?

A:传统方法不管输入什么音频,频带边界的位置都提前写死,所有输入共用一套;DBS则会根据每段混音的具体内容实时调整边界的位置和宽度,同时保持频带总数不变,不会增加计算开销。

Q2:DBS-BSRNN在DnR v2数据集上的分离效果提升了多少?

A:平均SI-SDR从固定分带BSRNN的7.69dB提升到DBS版本的9.07dB,提升了1.38dB,相对提升幅度达到29.0%,三种声源(音乐、语音、音效)都有改善。

Q3:为什么DBS要把频谱切成四个固定区块,而不是让边界在全局范围内完全自由移动?

A:实验里发现,要是只用单独一个全局区块,边界就大多被模型堆到低频段,高频那一段基本被晾着,平均 SI-SDR 也随之从 9.07dB 降到 6.30dB。换成四个区块,等于给每一段频率都留了一份保底额度,资源不至于被一处彻底占满。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. AI博主成品牌投放新战场:1000条商单视频里,钱流向了谁

    ⭐️星标一下新榜,及时了解关于新媒体的一切AI爆款在今年加速涌现,AI博主也成为品牌商家的投放新战场。两个月前,“海底蟹黄堡”凭借《漂亮的恶意》一战成名,不仅首集抖音涨粉70万,还带火了AI偶像短剧这个细分赛道。网友热情追更的同时,品牌商家也盯上了“海底蟹黄堡”这个当红炸子鸡。从第二集《漂亮的恶意》开始,“...

    来源 腾讯网
  2. 商汤林达华谈AI复利:模型跑分只是入场券,钱从哪来?

    SOTA(当下最强模型)已经从稀缺品变成入场券,把模型参数刷上去的那笔钱,如何摊到收入里?AI公司们营收在增长,收入质量和利润持续性是更重要的指标。文|施然今年年初,商汤科技做短剧创作平台的团队去见投资人,几乎每个人都在问同一个问题:你和Seedance有什么区别,你做得过它吗?AI(人工智能)公司商汤成立于2014年

    来源 腾讯网
  3. 快手Q3营收316亿:可灵AI增收,日活4.17亿

    亿欧最新获悉,11月19日盘后,快手科技发布2026年第三季度业绩。财务数据显示,今年第三季度公司实现营收315.92亿元,经调整净利润7.9亿元。具体来看,线上营销服务收入为178.71亿元,占总营收的56.6%;直播收入为77.52亿元,占比24.5%;其他服务收入为59.69亿元,占比18.9%。图片来源:快手科

    来源 腾讯网
  4. 美术生带队做AI短剧:月产20余部,5个月营收破百万

    据大河报报道,一名数字媒体艺术专业的大学生带着二十多人的团队,靠 AI 工具杀入漫剧短剧赛道,创业五个月营收突破百万元,如今每月稳定产出二十余部作品、每周更新 3 到 4 部。耐人寻味的是,他最初还担心 AI 普及会冲击自己这个视觉创作方向——如今角色已彻底翻转:从亲手做素材的执行者,变成了项目决策

    来源 AI 开发者社区
  5. 郑渊洁71岁用AI做动画,8部短片免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  6. 郑渊洁用AI做动画短片:8部已上线,宣布作品免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  7. 71岁郑渊洁用AI“手搓”动画短片,停更两年后宣布全面免费开放

    【TechWeb】11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文

    来源 AI 行业观察
  8. 谷歌AI智能体改一处代码成功率翻8倍:Harness自我优化研究

    IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。在一项 SWE-

    来源 腾讯网
  9. 即梦Seedance 2.5实测:4K画质,30秒生成孙悟空大战饕餮

    智东西(公众号:zhidxcom) 作者 | 江宇 编辑 | 漠影最近,网上有个挺有意思的说法:大家都进入了“过日子时代”,不要大结果,拒绝大后果,纷纷捧起了“大红果”。刷AI剧之余,我们也经常在各个平台上看到一些AI生成视频。有的把小说中的场景还原进现实,有的仅凭几个镜头,就拍出了电影大片的质感。有时候刷着刷着,还真

    来源 腾讯网
  10. 英伟达临时CEO克雷斯回应换帅疑虑:AI芯片业务照常,产品节奏不变

    【TechWeb】11月19日,行业媒体Digitimes发布报道,聚焦黄仁勋辞任后英伟达首次财报电话会议。针对外界“换帅是否会打乱AI芯片供货”的疑虑,临时CEO科莱特·克雷斯(Colette Kress)明确回应:公司业务照常开展。 克雷斯在会上强调,英伟达未来产品的开发与推出节奏保持不变,公司的运营表现、业务展望

    来源 AI 行业观察
  11. 上市前一天,80余位学界与AI大佬联合声明:“Anthropic不是一家安全的AI公司”

    【TechWeb】11月18日,Anthropic正式确定IPO发行价为每股83美元,高于此前70-78美元的指导区间;公司连同部分股东共发行约9.8亿股A类普通股,公开发行筹资约813亿美元,叠加向谷歌、英伟达、微软等战略投资者的260亿美元私募配售,合计融资规模突破944亿美元,超越SpaceX今年6月创下的纪录,

    来源 AI 行业观察
  12. AI泔水入侵科普:南海双头虾与万张鸟类贴纸暴露知识污染风险

    AI泔水(AI Slop),正在侵蚀人类的知识世界。这个词在2025年入选《韦氏字典》年度词汇,专门用来形容由人工智能批量生产、质量低劣的数字内容。出现双头虾的《南海海洋生物科普丛书》中,绝大多数图片均由AI绘图工具生成。图片来源:澎湃新闻近日,中国农业出版社出版的《南海海洋生物科普丛书》,因出现不符合常识的“双...

    来源 腾讯网
  13. 三星天气App新动向:One UI 9.5内测AI目的地提醒?

    IT之家 11 月 20 日消息,科技媒体 SamMobile 昨日(11 月 19 日)发布博文,报道称在 One UI 9.5 首个 Beta 测试版中,三星正在为天气(Weather)应用酝酿 AI 升级,在用户出发前提醒其查看目的地天气。IT之家援引博文介绍,系统识别到用户计划前往另一座城市后,天气应用会显示“

    来源 腾讯网
  14. 只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍

    IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。 在一项 SWE

    来源 AI 行业观察
  15. 三季度营收利润双降,网易回应短剧争夺用户注意力

    短剧的爆发让游戏大厂也感受到了争夺用户时间的压力。 11月19日晚,在网易2026年第三季度业绩电话会上,管理层被问及短剧对游戏行业的影响。网易创始人兼CEO丁磊坦言,短剧今年呈现爆炸式发展,对用户注意力的吸引力巨大,短期内确实会对游戏产生影响。 在这一表态背后,网易今日交出了一份不及市场预期的成绩单。三季度网...

    来源 腾讯网
  16. HPE推ProLiant Gen13服务器:搭载第六代AMD EPYC,主打AI推理与安全

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  17. HPE ProLiant Gen13上新:第六代AMD EPYC加持,面向AI推理与企业负载

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  18. Altman回应传记片选角:被Garfield饰演进不了人生怪事前十?

    OpenAI CEO Sam Altman近日回应Andrew Garfield将在传记电影中饰演自己一事,直言这甚至排不进他人生中最奇怪的十件事。从董事会政变到全球AI竞赛,这位科技领袖的日常本身就像一部好莱坞剧本。本文梳理事件背景,并探讨硅谷与好莱坞日益交融的文化现象。

    来源 AI 科技快讯
向下滚动自动加载更多