WorldSonus让AI世界模型实时发声：画面之外补上声音

玩过那种沉浸感极强的游戏吗？画面精致得让人屏住呼吸，耳朵里却只有背景音乐循环，脚步声、风声，任何能说明“这是真实世界”的细碎声响全都缺席。

这不是夸张。

世界模型这个概念在2024年到2025年间火了起来，背后是AI生成视频技术的快速推进。按通常的理解，它是一套能随你的操作实时生成虚拟环境的AI系统：你往前走，它就生成前方场景；你转身，它就渲染出转身后看到的画面，像个能无限造场景的虚拟引擎。

可这些世界模型有个通病——它们不会出声。

画面能一直生成，声音却一直缺席。好比拿到一台能瞬间变出任何房间的魔法相机，可房间里永远死寂：风扇转动没有嗡嗡声，门开了没有吱呀声。这种反常的安静反倒让人更快意识到自己身处一个假世界。

来自香港科技大学、Noiz AI等机构的联合论文盯上的就是这一点，题目直接叫《WorldSonus：给世界带来声音》。

声音生成，到底难在哪

给世界模型配上声音，听着像只是加一个音频生成模块，真做起来却有三座大山挡路。

第一座山是实时性。

世界模型是交互式的，你的操作会实时触发画面变化，声音得跟画面严丝合缝地同步生成，不能有延迟。假如你拔剑，画面立刻给出挥剑动作，剑风声却慢了半秒才响，这种割裂感会瞬间打破沉浸感。

第二座山是交互控制。

真实使用中，用户可能随时想调整声音效果。比如游戏进行到一半，你突然想让环境音从“安静森林”切换成“暴风雨将至”，这个指令不能要求整个会话重新开始，必须能在不中断已有生成流程的情况下无缝切入。

第三座山是空间感。

真实的声音场应该有方向性：左边有车经过，声音应该偏向左耳；镜头转向右边的瀑布，水声应该随之偏向右耳。这种立体声的空间对齐，要求声音生成系统理解摄像机的运动和场景的几何结构，而不是简单往左右声道各塞一份一样的声音。

在WorldSonus之前，已有团队试过类似方向，但短板明显。V-AURA用自回归方式逐帧预测声音，却只能输出单声道，没有立体声空间感；SoundReactor做到了实时立体声生成，但不支持中途修改文字指令；还有专门针对全景视频的SwanSphere，它面对的是360度环绕画面，而不是日常接触的标准视角视频。

这就像三个厨师各自掌握了一道菜的某个诀窍，却没人能把色香味同时做到位。WorldSonus想做的，就是把这三样本领融进同一个系统里。

流式生成：边看边听，不等齐全

WorldSonus的核心设计理念是一种叫做因果自回归扩散架构的东西。

因果自回归扩散*：模型生成眼下这段音频时，能用的只有已经出现过的内容和当前这一帧画面，未来的信息一概看不到。打个比方，就像盯着直播画面同步解说，下一秒会发生什么，事先谁也不知道。

“因果”这两个字是关键所在。以往多数音频生成模型走的是双向路线：生成某一秒声音的时候，这一秒前后两边的画面它都能看到。等于提前知道了剧情，声音自然更容易做得又准又顺。可世界模型要实时交互，画面是一帧一帧刚生成出来的，压根就没有“未来的画面”可供参考。

WorldSonus把音频生成切成一个个100毫秒的小块（chunk），每次只处理这100毫秒对应的3帧视频画面，生成对应的3帧音频潜变量，然后立刻吐出来，不等待整段视频生成完毕。

现场同声传译和录播字幕的差别就在这儿。录播字幕可以等整段讲话听完，再回头慢慢打磨措辞，精准度当然更高；同传译员却得边听边说，说话人一句话还没讲完，往往就得开口翻译，靠经验和语境去预判对方接下来要讲什么。真要等人家把整句说完再张嘴，那场面就难看了：每句话都滞后好几秒，会议的节奏全被打乱。WorldSonus选的就是这种“同传”打法。代价是它永远做不到双向模型那样“全看完再定”，换来的是货真价实的实时响应。

为了让这个流式系统不至于随着时间推移越跑越卡、内存爆炸，WorldSonus用了一个叫Ring-KV缓存的机制。

Ring-KV缓存*：一块环形排布的“记忆缓冲区”，容量是固定的（此处设为5秒，折合50个音频块）。新数据一进来，最旧的那份就被顶掉，内存占用因此始终稳定，不会因为生成时间拉长而越吃越多。

不妨把模型的记忆想成一块只能贴5张便利贴的板子：新纸条一到，最旧的那张就得撕下来给新内容腾位置。用得再久，占的也还是5张纸的地方。放到实际部署里，这一点很要紧。若让模型无限堆积历史记忆，跑上几分钟内存就可能被撑爆；真到了游戏或虚拟世界场景，用户显然没法接受系统跑到一半卡死、重启。

实测数据是：WorldSonus每生成100毫秒音频块，计算只花41.2毫秒。这个指标就是实时因子（RTF）。0.41的RTF说明生成速度超过实际播放速度一倍有余，实时交互的节奏完全跟得上。

看画面要顾两头：既看大局，也抠细节。

只有流式架构还不够。纯因果的路子有个先天短板：看不到后面的画面，音画同步就变得很难办。

比方说，某个爆炸特效到第3帧才真正炸开，可模型在第1帧就得开始酝酿声音，它凭什么判断声音该在哪一刻响？传统双向模型能提前“剧透”第3帧，因果模型没有这个条件。

WorldSonus给出的办法，叫两时间尺度视觉条件化。

两时间尺度视觉条件化*：视觉信息被拆成两条线索，同时送进模型。一条是粗粒度的“块级语义”，负责维持长时间的叙事连贯；另一条是细粒度的“帧级局部特征”，专盯精确的时间和空间细节。

落到操作上，每个100毫秒的视频块包含3帧画面，WorldSonus用DINOv3这个视觉编码器把每一帧转成特征表示。

DINOv3*：一种预训练好的图像理解模型，能把图片变成计算机好处理的特征向量；这里参数被冻结，直接拿来用，不参与训练。

3帧特征会先汇聚成一个“块级摘要”token，送进管长期记忆的自回归骨干网络；与此同时，这3帧更细的特征不经过骨干网络，直接送进负责生成实际波形的扩散头（flow head）。

这套分工像极了公司里的管理层和执行层。CEO不必清楚每个员工今天敲了哪几行代码，只要知道“这个季度产品大方向没跑偏”；真正写代码的工程师才需要盯住每一个具体的bug。要是CEO事事过问每一行代码，公司效率准得崩；可完全不让CEO掌握大方向，公司又会在细枝末节里迷路。WorldSonus把“维持剧情连贯”这个大局任务交给自回归骨干，把“卡准每一帧声音细节”这个精细活交给扩散头，两条线各管一段，互不耽误。

论文里的消融实验印证了这个设计的价值：一旦去掉直通扩散头的视觉快捷通道，让画面信息只经过自回归网络再传递，音频质量就断崖式下跌，FAD指标（衡量生成音频与真实音频分布差异，数值越小越好）从2.42飙升到15.82，几乎等于报废。细粒度的即时视觉线索，对声音的清晰度和同步性确实不可替代。

教师指导下的默契：ShiftNCE如何让声音踩准点

就算有了两时间尺度的视觉信息，因果模型在时间同步上还是天生吃亏，因为它始终看不到未来帧。

WorldSonus的办法挺巧妙：训练阶段请一位“老师”进场，推理的时候却完全不用它。

这位老师叫Synchformer。

要判断画面和声音是否对得上，可以用 Synchformer* 这个模型：它接收的是一段 640 毫秒的视频窗口，并输出一组特征表示，用来反映同步状态。

训练时，WorldSonus让自身内部的隐藏状态去模仿Synchformer输出的目标特征，但并非简单照抄，用的是一种叫ShiftNCE的对比学习目标。

ShiftNCE*：一种训练目标，教模型把“时间对齐正确的声音特征”和“被人为挪移过时间的声音特征”区分开，说白了就是让它分辨“这个声音踩在点上”还是“慢了半拍、快了半拍”。

具体做法是：对某个时间点t，老师模型给出的目标特征为St，同时另备几个人为错位的候选特征，比如St前移一帧、后移两帧、后移四帧等。模型要学会让预测靠近St，远离这些挪位后的错误候选。

这过程很像学钢琴时用节拍器。节拍器“滴滴滴”打着标准节奏，你弹的时候耳朵得随时比对：这个音符是正好落在节拍点上，还是抢了半拍、拖了半拍。练久了，哪怕撤掉节拍器，节奏感也已内化成本能，不必每次都靠外部工具纠正。ShiftNCE就是那台节拍器，只在训练阶段响个不停，推理阶段完全撤走，不添任何额外计算延迟，而模型早把“卡点”学到了骨子里。

消融实验的数据很有说服力：去掉ShiftNCE后，DeSync指标（衡量音画时间错位程度，数值越小越同步）从0.831恶化到1.067；若改成推理时直接接入640毫秒的Synchformer特征，效果反而更差，原因可能是640毫秒的特征窗口和WorldSonus 100毫秒的流式节奏对不上拍，硬接只会水土不服。

立体声从哪来：数据的筛选和改造

架构说完，再聊数据。再好的模型架构，训练数据不干净也是巧妇难为无米之炊。

WorldSonus的训练数据共1465小时音频，由999小时带立体声的视频音频配对数据和466小时纯音频数据组成。

立体声数据的来源相当杂。VGGSound、AudioSet这类开源的真实世界视频音频数据集贡献了一部分；团队自己采集的交互式场景视频也算一块，这些视频带有明显的摄像机运动和动态物体；剩下的来自全景录音数据集Sphere360和YT-AmbiGen。

全景数据的处理方式不太一样。全景录音一般用FOA（一阶环绕立体声）格式记录声场信息，可世界模型要的是标准视角下的立体声，WorldSonus为此做了一步转换：先根据声场能量分布估出声音的主要方向，截取该方向对应的透视视角画面，再旋转对齐声场，解码成左右声道立体声。

这有点像从360度全景照片里截出你想要的那个角度，同时还得保证截出来的声音跟着一起转。少了这步对齐，画面左边可能有车开过，声音却仍均匀摊在左右声道，画面和声音就对不上了。

数据筛选设了两道关卡。头一道是自动化信号处理，专门挑出静音片段、相位损坏的音频、立体声分离过窄的样本，以及左右声道完全一致的"伪立体声"（俗称双单声道）。第二道请Qwen3-Omni这个多模态大模型当裁判，把画面与声音严重不匹配的样本，以及画外配音、背景音乐这类"非场景内在"的声音剔掉。

Qwen3-Omni*：能同时理解视频、音频、文本的多模态大模型，在这里负责给数据质量打分并生成文字描述。

字幕生成这一步也做了专门设计。团队没让AI随意描述画面，而是要求生成的文字只聚焦声音相关信息——声音种类、质感、时间点、空间氛围，画面里与声音无关的视觉细节被刻意排除。这样做的目的是防止模型被无关视觉线索带偏，专心学"什么样的画面对应什么样的声音"。

实验结果：数字说话

理论讲得再多，终归要看实际效果。WorldSonus在五个测试集上与几个主流模型做了对比，包括双向模型AudioX、ThinkSound、PrismAudio，以及流式单声道模型V-AURA。

下面这组数据取自论文的核心实验表格（节选关键指标）：

在VGGSound 5秒测试集上，WorldSonus的FAD分数为1.73，AudioX是3.00、ThinkSound是2.94，均优于二者，与PrismAudio的2.09相比只差一点；到了交互式视频30秒测试集，WorldSonus的FAD为2.03，把所有双向模型甩在后面（AudioX 5.52、ThinkSound 7.00、PrismAudio 6.08）。

更关键的是，这些成绩是在WorldSonus完全看不到未来画面、每100毫秒就得吐出一段声音的条件下拿到的，对比的双向模型却能提前看完整段视频再慢慢生成。这好比一场拳击赛，对手戴着望远镜能提前看到你下一拳往哪打，WorldSonus全程蒙着眼睛凭感觉应战，结果打得不比对方差，有些场次还更好。

立体声空间感方面，论文设计了一个叫BiasSkill的指标，用来衡量生成音频的左右声道偏向是否与真实参考音频一致。WorldSonus在VGGSound 10秒测试集上拿到4.42%，数字看着不大，但它是相对一个"随机猜测基线"的提升幅度，其他对比模型里有的还是负数（意味着比随机猜还差）。交互式30秒测试集上，WorldSonus的BiasSkill达到15.90%，在所有对比模型里断层式领先。

主观听感测试也给出了佐证。研究团队找了20位评测者，对40个代表性片段做了400次成对盲测比较，WorldSonus在整体偏好度上以58.8%对AudioX、80.0%对ThinkSound、65.0%对PrismAudio的比例获胜，仅次于真实录音本身。

交互控制能力的验证同样有意思。论文设计了一个"反事实干预"实验：同一段视频给两种处理，一种在5秒处真正切换文字指令（Switch），另一种全程保持第一个指令不变（Hold），然后对比两种情况下第二个5秒片段对新指令的响应差异。结果显示，这个差异（论文称为干预增益G）在VGGSound上是0.051，在交互式视频上是0.053，置信区间都明确排除了零，说明WorldSonus确实能对中途修改的文字指令产生真实的声音变化，而非单纯因为画面本身在变导致声音跟着变。

长时间运行的稳定性也是关键。模型跑久了声音质量若慢慢崩坏，实用性就大打折扣。论文对比了"直接生成最后5秒"和"连续跑完30秒再截取最后5秒"两种方式，两者在FAD、DeSync等指标上差异很小（FAD分别是2.63和2.51），说明WorldSonus在有限内存缓存下能长时间稳定运行，不会一跑久了就"崩人设"。

局限和未来

论文也坦诚提到了两个尚未解决的问题。

一个是音频编码器本身的质量瓶颈。WorldSonus用的是冻结参数的因果立体声VAE（变分自编码器，一种把音频压缩成紧凑表示再还原的技术），这个编码器借自SoundReactor项目，而SoundReactor自己的论文就提到，因果版本的解码器重建质量不如非因果版本。也就是说，WorldSonus眼下的音质上限，部分受制于这个底层编码器的能力，往后得靠更强的因果音频编码技术来突破。

另一个是立体声数据规模。相比海量单声道音频，高质量立体声数据依然稀缺，不少公开的立体声视频里左右声道分离是人工制造的，并不真实反映画面里物体的实际运动，好比有些老电影的立体声效果是后期硬加上去的，声音方向和画面对不上。把真实可信的立体声数据规模做上去，仍是接下来要啃的硬骨头。

写在后面

读论文时有个细节我反复琢磨。ShiftNCE这设计巧在哪？它没玩什么高深数学，而是想通了一件事：有些能力只放在训练阶段就行，推理时根本不用付代价。

这思路其实挺反直觉。按常理，模型要靠“参考老师的意见”才能更同步，推理时想必也得把老师带上一起跑。WorldSonus却证明，训练阶段把这种对齐能力真正“内化”进参数之后，推理时完全可以把老师撇开，轻装上路。训练加负重、推理卸包袱，这法子不少场景都能借用，运动员平时负重练，比赛时反倒卸掉全部负重去拼最快速度。

另一个让我意外的地方，是论文处理全景音频转标准立体声的办法：从声场能量分布反推主导声音方向，再截取对应视角的画面重新渲染成立体声。听着简单，实质是在“造”一种原本不存在的训练数据，拿全景数据硬“合成”出带视角对齐的立体声样本。从手头资源里巧妙拼出稀缺资源，某种程度上比直接采真实数据更考研究者的巧思。

世界模型真要走向大规模商用，游戏、虚拟社交、沉浸式教育都算，声音这环迟早得补。论文给的答案不是“等更大模型、更多数据自然解决”，而是把实时性、交互性、空间感这三个工程问题拆开，各给一套可验证的解法。这种务实拆解，或许比单纯堆算力更值得看。

那下一个问题就来了：声音和画面都能实时生成之后，触觉呢？

Q&A

Q1：WorldSonus是什么？

A：它是一个面向交互式世界模型的实时音频生成框架，能跟着流式视频画面同步产出带空间感的立体声音频，中途还能改文字指令，整体延迟很低。

Q2：WorldSonus和其他视频转音频模型有什么不同？

A：现有音频生成模型多是双向的，得看完整段视频才出声；WorldSonus走因果流式架构，只看过去和当前画面就能实时生成100毫秒级的音频块，还支持立体声空间对齐和中途切换指令。这三点同时做到，是它独特的地方。

Q3：WorldSonus生成声音的速度能跟上实时交互吗？

A：能。每生成100毫秒音频，WorldSonus只需41.2毫秒计算时间，实时因子仅0.41，单张H100显卡上完全够实时交互用。