香港科技大学:AI游戏为何按一下慢半拍、再按又猛冲?

资讯 腾讯网 作者:科技行者 全文 5511 字 · 约 14 分钟读完 分类世界模型学术研究

想象你在玩一个AI生成的游戏,你按下"向前走",可是屏幕上的角色却像踩在果冻上一样,慢吞吞地挪了半步。你再按一次,这次它又冲出去老远。你心里犯嘀咕:这游戏是不是卡了?其实它没卡。这是一个更深层的问题:生成这个世界的AI模型,根本不知道"一秒钟"到底该往前走多远。这篇来自香港科技大学团队的论文,把这个问题起了个...

所属频道 模型发布前沿研究

设想你正在玩一款由AI生成的游戏:你点下“向前走”,画面里的角色却像陷进了果冻,磨磨蹭蹭只挪了半步;再按一下,它又猛地窜出老远。你难免会想:这游戏是不是出毛病了?

它其实没坏。背后藏着一个更根本的问题——生成这个世界的AI模型,压根不知道“一秒钟”应当推进多远。

香港科技大学团队的一篇论文给这个现象取了个名字,叫**时间率耦合**。这个词读着别扭,道理却简单:眼下多数交互式世界模型都被牢牢钉在一个固定的播放速度上,只要现实世界的节奏跟它对不上,整个生成出来的世界就会又拖沓又失真。

交互式世界模型

它指的是一类AI系统,能根据用户的输入(按键、摄像头移动等)即时生成接下来的画面。可以把它想成一台会“读心”的虚拟摄像机:你给出一个动作指令,它马上就把下一帧该有的样子画出来。

这类模型近来热度很高,Genie、Matrix-Game等系统已经能在游戏和开放世界场景里做到相当顺滑的实时生成。不过它们身上都压着同一个短板,下面我们一层层拆开看。

### 两个麻烦:一个是“错位”,一个是“顾此失彼”

先看第一个麻烦,论文里把它称作**速率-吞吐量失配**。

这话怎么讲?训练模型时,你会设定它“每秒钟走30步”,这个节奏就叫**时间率**。

论文用符号f来指代它,含义是模型每秒需要生成多少帧画面,相当于视频的帧率(FPS)。例如f等于30,即一秒生成30帧。

可模型落到真实场景里,实际生成速度取决于硬件性能、网络延迟这些现实条件,未必能稳在每秒30次。假设你的电脑此刻卡了一下,实际生成速度跌到每秒15次,而模型内部仍默认“每一步对应1/30秒”,那它产出的世界里,物理时间就被压缩了:明明按了一秒钟的前进键,角色只走了半秒钟该走的路。反过来,硬件突然跑快了,世界又会莫名其妙地“抢跑”。

这就像看一场直播足球赛,解说员报的比分总停留在三分钟之前,你急着为进球欢呼,屏幕上那球却还没踢进去。这个问题不解决会怎样?用户每下达一次指令,得到的反馈都带着“时好时坏的随机延迟感”。这种体验比稳定地慢更折磨人,因为你压根猜不到下一次是快还是慢。

第二个麻烦藏得更深,叫**速率-视野权衡**。

这个不难懂。假定模型一次只能“看”固定数量的画面帧,比如N帧,这是显存和算力卡死的硬约束。把时间率调高,一秒钟塞进60帧,那这N帧最多也就覆盖半秒钟的物理时间——动作捕捉得够细,可模型“记性”太短,看不到多远的过去和未来。反过来把时间率调低,一秒只生成10帧,同样的N帧就能覆盖好几秒钟,长时间的剧情走向是看得见了,但转身、开枪这类快速反应中的细微变化,全被糊掉了。

论文里有个开车的例子举得很传神:高时间率好比用慢动作摄像机拍一辆过弯的车,方向盘每一帧转了几度你都看得清,可整段视频只拍了一秒钟的路程;低时间率则像用延时摄影拍同一段路,车从起点开到终点你都看得到,但车究竟怎么过的弯,细节全没了。

这两个问题看着各管各的,病根其实相同:传统模型把“每走一步”和“固定的物理时间间隔”焊成了一体,没给这个间隔留下任何调节余地。

### RAR的核心思路:把“步长”变成一个可调旋钮

研究团队给出的解法叫**Rate-Adaptive Rollout**。

简称RAR,中文直译是“速率自适应推演”。它的核心想法是:模型的时间步长不再是个定值,而是一个训练和推理时都能灵活调节的参数。

他们引入了**stride**(步长)这个概念,用它统一描述“模型这一步跨越了多少物理时间”。打个比方,stride等于1时,模型每一步对应最细的时间颗粒,像钟表的秒针,一下一下走得很密;stride变成3,模型每一步直接跳过三倍的物理时间,好比用分针代替秒针,走得粗了,覆盖的时间却更长。

关键在于,这个stride并非训练完就焊死,它在推理阶段也能实时调整,甚至能在一次连续的生成过程中动态切换,既不用中断,也不用清空此前生成的历史记忆。

整篇论文最核心的技术创新,也就由此引出。

### Stride-RoPE:让不同速度的时间线对上表

想让模型在不同步长之间自由切换还不乱套,光有一个stride参数并不够,你还得保证模型“理解”这个参数在物理上意味着什么。这就要从一个叫RoPE的技术讲起。

**旋转位置编码**

RoPE 是 Rotary Position Embedding 的缩写,常见于 Transformer 类模型,作用是为序列中的每个位置标出“相对距离”。它的思路有点像拿旋转角度去衡量两个词、或者两帧画面之间隔了多远。

传统 RoPE 靠的是“第几帧”这个序号来定位置。问题在于,不同帧率下采样视频时,同样一段“第5帧到第10帧”,高帧率下也许只走了0.1秒,低帧率下却可能过去1秒。说到底,只看帧序号的 RoPE 并不知道现实世界里究竟流逝了多久。

论文团队的处理办法很巧:位置编码的输入不再取“第几帧”,而是把这个序号乘上对应的 stride,折算成一个统一的、以物理时间为单位的坐标。于是无论采样用的是 stride 为 1 的高频,还是 stride 为 3 的低频,只要两帧之间的物理时间间隔一致,模型算出的“相对位置关系”就完全相同。这正是 **Stride-RoPE** 的关键所在。

这个设计像什么?好比一把尺子,刻度标的不是“第几格”,而是直接标好“多少厘米”。拿它去量一张A4纸也好,量一面墙也好,只要量的是同样10厘米长的一段,尺子上读出来的数字永远一致。反过来,尺子只标“第几格”不标厘米数,换一把精细度不同的尺子,同一段距离读出的数字就完全不同,量出来的结果根本没法比较。

Stride-RoPE 的另一个好处,是它天然支持“训练时没见过的中间速率”。物理时间坐标是连续的数学函数,stride 取训练时见过的 2 也好,取没见过的 2.3 也好,公式照样算得出来。模型因此具备了**插值泛化**能力,不必为每一种可能的速率单独训一遍。

### 多步长训练:一鱼两吃

只有 Stride-RoPE 还不够,模型得真正“学会”在不同速率下世界该怎么演化。这是 RAR 的第二个关键设计:**多步长采样训练**。

具体做法是在训练阶段,团队同时用好几种 stride 从同一段视频里采样:一部分样本步长细密,用来捕捉快速动作;一部分步长稀疏,用来拉长时间跨度。于是一次训练下来,模型既学到了“按下按键后半秒内角色该怎么转身”这类精细反应,也学到了“十秒钟内场景大概会怎么演变”这类长程规律。用的还是同样长度的训练序列,计算负担没有额外增加。

这其实是统计学里常见的思路:与其拿一堆超长序列死磕长时间跨度,不如换一种采样密度,用同样长度的“画布”装下不同粒度的信息。论文在实验部分验证了这招确实管用:训练步数固定的情况下,RAR 模型在低帧率(14FPS)下的图像质量指标 LPIPS 从单一速率模型的 0.4376 降到了 0.3834,提升相当明显;高帧率(70FPS)下的表现则几乎没有损失,两者数值非常接近(0.3135 对 0.3113)。

LPIPS

这是衡量两张图片感知相似度的一种指标,数值越低,说明生成的画面和真实画面越接近,是图像生成领域常用的评测工具。

### 在线切换速率:换挡不熄火

训练和部署时选定一个固定速率之外,RAR 还能在一次连续生成过程中实时切换速率,论文里把这个能力叫作**动态推演速率切换**。

它解决的是一个很现实的问题:假设设备算力时高时低,电脑后台突然跑起了别的程序,生成速度掉了下来,系统能不能马上把模型的 stride 调大一点,让世界的演化节奏跟上实际的生成吞吐量,而不用把之前生成的历史画面全部推倒重来?

论文给出的答案是可以。团队借助一种叫 **KV缓存** 的机制做到了这一点。

KV缓存

这是 Key-Value Cache 的缩写,Transformer 类模型推理时用它存储历史信息、避免重复计算,缓存里存着此前每一步生成时用到的关键特征。

他们采用了一种叫“统一相对RoPE配方”的技术:缓存里存的是“旋转之前”的原始特征,而不是已经旋转过的,等到要用的时候,再按当前累积的物理时间坐标现场算出旋转角度。这就好比把所有食材预先切好放进冰箱,但不提前调味,真正下锅那一刻才根据今天想吃辣还是想吃甜临时调味,中途换了几次口味,食材本身都不用重新处理。

实验数据显示,在FPV(第一人称无人机竞速)环境里,面对一条平滑变化的速率曲线,模型跟踪目标曲线的皮尔逊相关系数达到 0.998;面对突变式的速率跳跃,相关系数也有 0.970。模型确实能跟着实时变化的节奏走,而不是死守一个固定速度。

### 三个测试场景,三份答卷

论文挑了三个差异很大的交互环境来验证 RAR:第一人称射击游戏 Doom、反恐精英2(CS2),以及第一人称无人机竞速模拟器 FPV。前两个靠键盘鼠标控制,后一个靠连续的摄像机轨迹控制,离散动作和连续动作两种典型交互方式都覆盖到了。

同样预算的生成帧数下,速率从最高档降到最低档,Doom、CS2、FPV 三个环境能覆盖的物理时间分别延长 5倍、4倍和 3倍;画质只掉 6% 到 11%,损失很小。更出乎意料的是训练中没出现过的中间速率——Doom 里训练只有 35 和 70 两档,49FPS 的表现却与相邻训练速率基本一致,速率保真度指标 SR 的最大偏差仅为 4%。

速率保真度

这个指标是论文专门提出的,看的是不同速率下生成视频的运动幅度,能否像真实视频那样按比例缩放。1 是理想值,一旦偏离 1,就说明动作被人工加快或放慢了。

团队还拿一组对照实验说明,RAR靠的不是事后调速这种取巧办法。参与比较的有三种方案:Single只在单一速率下训练,推理时靠换算速率硬撑;Embed把显式FPS数值嵌进模型;还有就是RAR自己。偏离训练速率之后,Single直接崩掉,平均误差109%,等于彻底失控。Embed稍好,在没见过的速率上误差仍有14.5%。RAR整体误差约3.5%,未见过速率的误差只有1.62%。差距摆在这里:光给模型加个数字标签、告诉它“现在是多少帧率”,它并不真懂这个数字背后的物理含义;Stride-RoPE是从位置编码的底层机制上把这层物理关系焊了进去。

迁移能力:不必从零起步

论文最后还检验了RAR能否“移植”到别人已经训练好的模型上,而不是非得从头训一个全新的。他们挑中预训练世界模型SANA-WM,只用了少量数据做两阶段微调——先微调一个双向教师模型,再做streaming蒸馏,总共才6千步训练。

微调后的模型在多个速率下SR指标普遍更靠近1,画质指标LPIPS在所有测试速率上都没变差,甚至有所改善。这说明RAR这套方法论具备不错的**可移植性**

换句话说,不用从零训练一个全新模型,只要少量额外训练,就能把速率自适应能力“嫁接”到已经训好的模型上。对那些已经砸下大量算力训出基础模型的团队来说,这意味着不必推倒重来。

写在后面

读完这篇论文,最触动我的其实不是技术细节,而是它提醒了一件容易被忽略的事:不少AI系统的“卡顿感”或者“违和感”,根源往往不在算法不够聪明,而是某个底层假设从一开始就埋错了。固定时间率这个假设,在实验室跑基准测试时看不出毛病,一放到真实世界波动的算力环境里,立刻就露馅。这种“实验室里很完美、部署时才暴露的假设”,可能比模型本身的精度更值得警惕。

另一个有意思的点是,论文里CS2和Doom在平滑速率曲线下表现不如FPV稳定这个细节,团队老老实实把局限写了出来,并用GT(真实视频)本身的测量结果反过来证明,这不是模型的锅,而是这类游戏场景里动作本身就一阵一阵的,不像开无人机那样有持续不断的运动信号可供测量。愿意拆解“到底是模型的问题还是数据本身的问题”,这种态度比单纯甩出一堆漂亮数字更值得信任。

世界模型哪天真的取代了游戏引擎,速率自适应恐怕就是那道躲不过去的坎。它更像电力系统得同时兼容50赫兹和60赫兹那样的底层条件,而非可有可无的加分项,直接决定这事能不能真正跑起来。

Q&A

Q1:Rate-Adaptive Rollout是什么?

A:Rate-Adaptive Rollout(RAR)是香港科技大学团队提出的一个框架,让交互式世界模型在训练和生成时能灵活调节时间速率,不再被固定帧率束缚,从而解决模型生成速度跟不上实际运行节奏、以及动作细节和长时间演化难以兼顾的问题。

Q2:Stride-RoPE解决了什么问题?

A:Stride-RoPE换了个思路做视频帧的位置编码:不再按“第几帧”算,改用物理时间作坐标。只要物理时间间隔一样,不同采样速率下模型得出的相对位置关系就一致;传统位置编码感知不到真实时间的流逝,这个问题被它解决了,训练阶段没见过的中间速率也能应付。

Q3:RAR能不能用在已经训练好的模型上?

A:论文在预训练模型SANA-WM上验证过,确实可以。少量微调只花了约6千步,模型在多个速率下的表现就有明显改善,画质也没掉。这说明方法可移植性不错,不用从零重新训练。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 南开大学综述:AI做研究,三项决策权在谁手里?

    新智元报道 你让AI自动设计一种新的推理算法:它能读论文、写代码、跑实验,还能根据结果不断修改方案。看起来,整个研究过程已经交给了AI。但如果研究问题由人类提出、允许修改的范围由人类划定、判断成功的标准也由人类设定,那么AI真正掌握了多少研究决策?它是在替人做实验,还是已经开始决定如何做研究?最近,南开大...

    来源 腾讯网
  2. AI裁判为何误判正确答案:耶鲁等团队发现验证环节的参照依赖

    先说一个实验结果,听起来有点荒谬。研究者拿一个正确的车辆编号,让四个AI裁判去判断它对不对。这个编号明明是对的,来源也查得到,就藏在前面某次工具调用返回的结果里。结果呢,四个裁判全部判它错。**不是编号错了,是裁判没看到编号的来源,于是就认定它是错的。**这件事听起来有点反常识。我们一般觉得,AI模型只要够聪明、够..

    来源 腾讯网
  3. Deepnote实测12款AI当同事:OpenAI包揽前二,Fable 5.2贵17倍反输

    花430倍的钱,只多11%的分数! 太夸张了。数据协作平台Deepnote今天发布了一项评测结果—— 创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。 跑完一看

    来源 AI 行业观察
  4. 华为云开源具身世界模型CloudRobo-WM1.2,两项评测登顶

    今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。

    来源 TechWeb
  5. 华为云开源CloudRobo-WM1.2:具身世界模型登顶两项评测

    今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。

    来源 TechWeb
  6. Hinton、李飞飞等遭冒名:AI垃圾论文批量挂上名学者

    某天,哥德堡大学计算机科学教授 Alan Said 收到了一条谷歌学术的推送:他有一篇新论文发表了。 论文题为《Intelligence Systems Supporting Sustainable Global Development》(支持全球可持续发展的智能系统),刊登在一本名为 American Interna

    来源 AI 行业观察
  7. XYBench基准出炉:AI答得对却帮不上忙,8000题考意图识别

    当用户问错问题时,AI是顺着错误给方案,还是指出真正的问题?Allen AI发布的XYBench基准测试了8000多个真实场景,发现主流大模型在识别用户潜在意图和纠正误解方面,表现远不如人类。本文详解XYBench的构建逻辑、评估维度及实验结果,探讨为何“听懂弦外之音”对AI助手至关重要。

    来源 AI 应用前沿
  8. 金大华推OATs套件:给家居物品装上会撒娇的AI宠物

    IT之家 11 月 15 日消息,忘记给家里的植物浇水了?这一次,你看到的可能不是逐渐变黄的叶子,而是一只显示在小屏幕上的植物形状宠物。它看起来垂头丧气、一脸委屈,仿佛在提醒你赶紧拿起浇水壶。而当你把水浇进土壤后,屏幕上的小宠物又会立刻变得兴奋起来。这正是 OATs(Object Agent Twins,物体智能体双生

    来源 腾讯网
  9. NEO-VLA:像素直出动作,具身模型怎么吃透视觉细节?

    让机械臂把网球稳稳放到易拉罐上,既要识别物体,也要判断网球是否对准罐顶,以及何时松开夹爪。这些看似简单的操作,往往依赖细微的视觉信息。问题在于,动作模型能否充分利用这些信息?近日,来自南洋理工大学 S-Lab、商汤研究院与 Ropedia 的研究团队提出 NEO-VLA,将原生视觉语言模型引入机器人动作学习。图像经过轻

    来源 腾讯网
  10. 华为云开源昇腾原生具身世界模型CloudRobo-WM1.2,亮出三张牌

    2026年,具身世界模型成了人工智能行业最拥挤的赛道之一。海外,谷歌、英伟达接连加码;国内,智元、星海图、智源、腾讯、阿里相继下场。各家路线略有差异,但共识已经形成:让机器人先理解世界,再做动作决策。有行业媒体梳理显示,国内公开的世界模型已有59个,全球公开入场的公司达55家。11月16日,华为云“行业AI梦工厂...

    来源 腾讯网
  11. 华为云开源CloudRobo-WM1.2:昇腾原生,具身智能落地提速

    IT之家 11 月 16 日消息,在今日的华为云 CloudRobo 具身世界模型发布会上,华为云“行业 AI 梦工厂”正式发布并开源昇腾原生的具身世界模型 CloudRobo-WM1.2,通过五大核心技术突破,加速具身智能从实验室走向规模化落地。 CloudRobo-WM1.2 模型采用共享世界模型骨干网络实现预测增

    来源 AI 行业观察
  12. CataX AI完成4000万元种子轮融资,启明创投孵化并独家投资

    【TechWeb】11月16日消息,近日,上海凯思达生物医药科技有限公司(下称CataX AI)宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。 CataX AI创立于上海,是一家智能体(Agent)原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-

    来源 AI 行业观察
  13. CataX AI种轮融资4000万:Agent原生推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  14. CataX AI获4000万种子轮融资,用Agent推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  15. 李沐出任Aimotion联合创始人兼CTO,联手打造产业级世界模型

    2026年的AI圈,世界模型毫无疑问是最火热却也最混沌的概念之一。杨立昆、李飞飞等学界泰斗纷纷下场,具身智能、机器人公司悉数跟进,仿佛世界模型的终点,注定是模拟物理规律、驱动实体机械。 但一个问题是,除了物理世界,商业规则、用户决策、业务因果这些构成消费闭环的商业世界,难道不是更需要一套专属的世界模型吗? 同样陷入尴尬

    来源 AI 行业观察
  16. 黄仁勋卸任英伟达CEO:33年掌舵结束,AI初创融资生变?

    IT之家 11 月 15 日消息,这是一场震动全球科技行业的人事变动。执掌英伟达 33 年、共同创立这家芯片巨头的首席执行官黄仁勋(Jensen Huang)已正式辞职。TechCrunch 援引一位新兴云计算公司的创始人的话称,他第一次听到这一消息时的反应是:“这就像一颗炸弹突然爆炸了。”过去几年,英伟达一直是科技初

    来源 腾讯网
  17. AI搅动面板业:存储涨价传导,OLED与新技术路线开打

    产业链的景气度,往往是终端市场最直接的镜像。当手机、PC、电视等消费电子产品进入增长乏力的阶段,上游供应链很难独善其身,尤其是面板行业,如今正在经历一场新的周期考验。“内存价格的飙涨,让我们的客户在定价和销量之间产生了巨大的纠结。”在DTC 2026大会上,TCL科技集团高级副总裁、TCL华星首席执行官赵军直接指出..

    来源 腾讯网
  18. 腾讯总办号召AI时代再创业:不拥抱就是被颠覆

    今日,“腾讯文化”公众号发文《总办号召 AI 时代再创业,“心态归零”》,再度谈及28岁生日这天,腾讯总办对AI时代的机会、挑战与选择的看法。文章指出,面对技术变革的巨浪,没有人是旁观者。所有人都要做出选择。如果不想被颠覆,真正重要的事只有一件:一起动起来。“现在进行的智能革命如果不投入拥抱,就是被颠覆。这是一个生死存

    来源 TechWeb
  19. 腾讯总办喊话AI再创业:不投入拥抱就是被颠覆

    今日,“腾讯文化”公众号发文《总办号召 AI 时代再创业,“心态归零”》,再度谈及28岁生日这天,腾讯总办对AI时代的机会、挑战与选择的看法。文章指出,面对技术变革的巨浪,没有人是旁观者。所有人都要做出选择。如果不想被颠覆,真正重要的事只有一件:一起动起来。“现在进行的智能革命如果不投入拥抱,就是被颠覆。这是一个生死存

    来源 TechWeb
向下滚动自动加载更多