AI推理新解法:香港理工大学团队给模型配上会拍视频的助手
你有没有遇到过这种情况:看一张照片,有人问你照片里那个红色的锥形物体,从机器人的视角看,到底是在蓝色方块的左边还是右边?你盯着照片看了半天,发现这事儿根本没法直接看出来。你得在脑子里把自己挪到机器人那个位置,想象一下从那个角度看过去,红色锥体和蓝色方块会是什么相对关系。这个"脑补"的过程,人类做起来毫...
一张照片摆在面前,有人问:那个红色的锥形物体,如果从机器人的视角看,究竟落在蓝色方块左边还是右边?这种情况你碰到过吗?
盯着照片琢磨很久,你会发现光靠画面根本判断不了。办法只有一个——在脑子里把自己挪到机器人所处的位置,设想从那个方向望过去,红色锥体和蓝色方块谁前谁后、谁左谁右。这种"脑补",人做起来不费吹灰之力,可对AI而言,正好是迈不过去的一道坎。
2026年10月,香港理工大学与杭州一家生物科技公司的团队联合发表论文,提出了一个颇有意思的思路。他们没去教AI把图"看"得更明白,而是给它安排了一个会"拍视频"的帮手;AI一旦遇到想不通的问题,可以主动开口,让这个帮手把情形"演一遍"。
道理听着不复杂,里头的设计考量却不少。下面逐层拆解。
核心问题:AI看得见的,和需要推理的,是两码事
眼下的视觉语言模型(VLM),描述一张图里有什么,已经相当在行。
**视觉语言模型(VLM)**:这类AI模型能同时读懂图像与文字。举个例子,递给它一张图,图里有什么、正在发生什么,它都能讲出来。
可描述归描述,推理归推理,两者不能混为一谈。论文一开头就指出了一类任务:模型要回答的内容,压根不在输入图片之中。比如两个物体里挪动其中一个,它们会不会撞上?两张观测照片之间发生过什么,能不能推出来?换个视角看,场景会变成什么样?
这些问题有一个共同点——答案藏在"没被观察到"的时空里。给AI两张静态照片,中间的运动过程它看不见;给AI一个起始状态,"如果……会怎样"的后续走向它同样看不见。
按以往的做法,这类任务一般会接入一个叫做
**
问题在于,现有方案大多很死板。比如
假使世上的推理任务只剩"换视角"一种,固定流水线倒也够用。可实际情况是,论文里至少列出了四种截然不同的"想象"需求:改变视角做空间判断;在两个观测点之间插值,还原被隐藏的运动过程;顺着已知的运动趋势往后推演;对场景施加一个干预动作再看结果。四种需求对应四种完全不同的"脑补"方式,硬塞进同一条固定流水线,显然走不通。
整篇论文要解决的根本矛盾就在这里:AI需要的不是一个只会干一件事的工具,而是一套决策系统——它得知道该挑什么工具、工具怎么用、用完之后结果怎么解读。
方法解读:把AI变成一个会用工具的"侦探"
论文提出的系统叫Harness)。
**
这个脚手架由四样东西构成:工具、技能、验证器、执行代码。听着有些抽象,下面逐个拆开讲。
先看工具。论文设计了四类视频生成工具,一一对应四种"想象"操作:
有个细节需要多说两句。论文着重指出,生成请求应当"描述视觉变换本身,而不是预先设定任务答案"。这么要求,用意是防作弊。假如AI在生成视频的指令里直接写上"显示红色物体最终在蓝色物体左边",那视频工具干的就不是帮AI推理,而是替AI编造证据。好比考试作弊——出题人和答题人不能是同一个,生成视频的过程必须保持中立,只还原物理规律,不预设结论。
再看技能。所谓技能,就是一套套可复用的推理流程,它告诉AI:什么情况下挑哪个工具、请求怎么构造、生成的视频该怎么读。论文设计了三类技能:
"工具+技能"这个组合,让人想到新手侦探入职时领到的装备包。放大镜、指纹粉、紫外灯,工具是齐了,可光有工具远远不够,还得有前辈留下的办案手册,指点他哪条线索该用哪件工具查、查完又该怎么判断。工具是硬件,技能是软件,缺一不可。
整个推理过程被切成四个阶段,论文给这个起了个名字叫
这个设计其实在暗示一件事:生成的视频不是真理,它只是一份"预测的证据",AI必须带着怀疑的眼光去审视它,而不是全盘照收。
这套系统的样子画出来是论文里的图2,左边是工具和技能构成的"驾驶舱",右边是接下来要讲的进化机制。
核心创新:让AI和它的"摄影师"一起进化
光靠一套写死的工具和技能,显然不够。论文拿出的第二个核心贡献,就在这儿。
那么症结在哪?论文给出了一个挺关键的判断:请求怎么构造,和结果怎么读,这两件事被死死绑在一起。你只要改动了"向视频模型提要求"的方式,生成的视频里能捕捉到的线索就会随之变化,而读懂这些线索所需的指导也得重新配。想把两者拆开各调各的,行不通。
可以这么理解:一名摄影师加一名侦探,两人合办一桩案子。摄影师按侦探的吩咐去现场拍证据,侦探拿着照片推真相。一旦摄影师换了机位、改了曝光,侦探那套"从照片里抠线索"的老办法很可能当场失灵。拍摄习惯总在变,判读方法却原地踏步,搭档只会越配合越别扭。反过来,两人若能照着一次次办案的结果,同步去调"怎么拍"和"怎么看",默契才会越磨越顺。论文要解的正是这个结:工具怎么生成、技能怎么解读,得一起往前走,各干各的没戏。
落地时,论文设了一个监督者(supervisor),同样由VLM来驱动。四个推理阶段,每个阶段它都要翻看执行过程留下的痕迹(论文称之为execution traces),再给出修改意见。这些意见落在哪儿?可能是工具的接口定义,可能是技能的工作流程,也可能是验证器的指令,乃至执行代码本身。
**
进化的节奏是个"跑一遍、做总结、动手改、再重跑"的圈子。每个阶段最多改5次,监督者觉得够了可以提前叫停。改完以后,它从所有候选版本中挑出表现最好的那个,连同对应的交互历史一起交给下一阶段。四个阶段跑完算一轮,接着再来一轮,论文一共做了3轮进化。这期间,VLM和VWM自身的参数始终冻着,动的只是外围那套脚手架:工具如何定义、技能怎么写、代码怎么跑。
这套思路其实是在回应一个现实难题。想让系统变强,摆在面前的是两条路:要么重训底层大模型,代价高得吓人,想针对具体任务做细调还很难;要么模型不动,只改它外面的"说明书"和"工作流"。论文走了后一条。标题里特意点出"模型权重保持固定",原因也在这里。这并非技术上做不到,而是有意为之,为的是让系统的改进有迹可循、管得住、花得少。
实验结果:数字说话
设计讲了这么多,真打起来怎么样?论文在七个基准上做了验证,覆盖空间智能、时序因果推理、感知推理三大类。
最核心的一组数据是这样的:用GPT-5.6搭配MiniMax H3视频生成模型的组合,
有个对比挺有说服力。论文拉来五个"进化型"对手同场测试,分别是HSI、ReasoningBank、Meta-Harness、ExpeL、GEPA。它们的路子都是靠反复改提示词、记忆库或代码来涨性能,可谁都没把视频生成拉进来。结果呢?这五个在整体表现上全都低于直接推理基线,而CoWorld Reasoner在五个基准上把这五个对手都甩在了后面。
| 方法 |
|---|---|---|---|---|---|---|---|
| GPT-5.6直接推理 | 38.35 | 88.33 | 82.24 | 56.64 | 51.75 | 60.72 | 50.84 |
| + GEPA | 38.87 | 87.67 | 79.92 | 54.86 | 59.75 | 62.51 | 47.61 |
| + CoWorld Reasoner | **42.89** | **89.67** | **83.76** | **57.36** | 58.50 | 60.79 | **51.35** |
这组数字指向一点:只在文字层面反复抠提示词和记忆,碰上需要"看见看不见的东西"的任务未必管用,有些时候反倒把成绩拖低了。对这类空间与因果推理问题来说,生成视频这一步带来的是文字优化给不了的增量信息。
论文还做了一次剥离实验:关掉视频生成工具,只留技能指导和四阶段流程。结果显示,在CausalSpatial的遮挡(Occlusion)和碰撞(Collision)两个子任务上,开视频生成工具带来的提升最大,分别有5.36和2.55个百分点。这个结果不意外,遮挡和碰撞说到底就是"中间那段没被看到"的问题,生成视频正好把缺的过程补了回来。
当然,不是所有任务都吃这一套。SAT基准里的视角转换(Perspective Taking)子任务,关掉视频工具后分数照样很高。这说明这类题目的推理难度主要靠逻辑梳理就能拿下,生成视频帮不上额外的忙。视觉想象力不是万能药,用对地方才有效。
论文里还有个关于工具和技能使用频率的有趣发现。研究者统计了不同基准上AI调用技能和工具的频繁程度。在MMSI测试里,AI主要加载跨视角技能和
这好比一位老练的医生,普通感冒不会上来就开CT,碰到疑难杂症才会果断建议做核磁共振。工具使在刀刃上,才算真智能。
视频生成模型选谁,也会左右最终效果。论文拿MiniMax H3 Max Turbo和LTX-2.3这两个视频世界模型做了对比:H3带来的提升在各个基准上普遍更大,LTX-2.3在CausalSpatial上甚至比直接推理基线还略低一点。可见脚手架这套设计思路有一定通用性,换个视频生成引擎也能复用,但引擎自身生成质量的上限,仍然卡着整个系统能达到的天花板。
论文另外做了一组“迁移”测试:把给GPT-5.6搭好的脚手架原样搬到Grok-4.5上,只多跑一轮进化。整体准确率由32.86%升到39.78%,PerceptionBench和Spin两项基准涨得最明显。这说明脚手架里攒下的那套流程——挑工具、拼请求、读视频——并没有跟某个特定模型绑死。换一个“大脑”,办事方法照样能用。打个比方,就像一本成熟的操作手册,来了新员工,照着做也能很快上手,不必从零摸起。
论文附录的案例能看清系统怎么跑。有一题问:把叠放盘子中最底下那个抽走,其余盘子会怎样?AI第一反应是“其他盘子会塌”。可它调用干预工具生成视频后,画面里剩下的盘子稳稳待在原处,没有塌陷迹象。AI于是推翻先前的判断,改选“什么都不会发生”。这个例子挺说明问题:人靠直觉推的那句“抽掉底座肯定倒”,本身并不严谨;真正的物理规律得靠观察或模拟去验证,光凭常识脑补不行。
论文结论部分谈到后续方向,研究者提出要尝试
写在后面
读完全文,最让我记住的不是准确率涨了几个百分点,而是论文反复强调的一处细节:生成请求得描述视觉变换本身,不能预设答案。这话看着不起眼,却点出了一个很容易被忽略的坑。
给AI配一个能生成视频的工具,本意是让它去“验证”自己的猜测。可监控一旦不到位,这个工具就很容易变成AI自我验证的橡皮图章——生成的视频恰好印证了它一开始就想要的答案。系统看着在推理,其实是在自说自话。论文专门花篇幅设计验证器这个角色,让它独立于主推理链路,只负责客观描述生成视频里发生了什么。说到底,这是给系统装了一道防止自欺欺人的保险丝。
另一个值得琢磨的地方是,论文里五个对比的进化型基线方法,表现全都不如直接推理。这个结果挺扎心。它说明光堆“让AI自我反思、自我改进”这类机制,如果没有引入真正新的信息来源——比如这里的视频生成——很可能只是原地打转,甚至越改越差。所谓“自我进化”,若只是在同一套信息里反复咀嚼,边际效益很有限;真正的突破往往来自引入一个全新维度的信息,哪怕这个信息是“想象”出来的、不完全可靠。
还有一点挺有意思。CausalSpatial这个基准测试直译过来是“因果空间推理”,论文专门为这类题目设计了因果干预技能和对应工具。这相当于让AI学会做“假如……就会……”的反事实思考,而不只是描述眼前看到的东西。这种能力若继续发展,或许会越来越接近人类做决策、做规划时用到的心理模拟机制。这个方向值得持续追问。
当AI开始学会在脑子里“拍电影”来验证自己的猜测,它和那个盯着照片苦思冥想、在脑海里反复推演各种可能性的人,到底还差多远?
Q&A
Q1:CoWorld Reasoner是什么?
A:CoWorld Reasoner是一个智能推理框架,由香港理工大学等团队提出。它让AI模型在回答复杂视觉问题时,能主动调用视频生成模型去“想象”没有被直接观察到的画面,比如换个视角、推演运动过程。
Q2:CoWorld Reasoner和以往的视频世界模型方法有什么不同?
A:以往的方法通常只针对一种固定任务,比如只做新视角生成。CoWorld Reasoner则提供视角变换、插值、延续、干预四类工具,让AI自主判断该用哪种,同时引入协同进化机制,持续优化工具和使用技巧。
Q3:CoWorld Reasoner的效果提升明显吗?
A:七个基准测试中全部超过直接推理。MMSI基准相对提升11.8%,ERQA基准相对提升13.0%,并且在五个基准上超过了五种同类进化型方法。