AI推理新解法:香港理工大学团队给模型配上会拍视频的助手

资讯 腾讯网 作者:科技行者 全文 5417 字 · 约 14 分钟读完 分类机器人

你有没有遇到过这种情况:看一张照片,有人问你照片里那个红色的锥形物体,从机器人的视角看,到底是在蓝色方块的左边还是右边?你盯着照片看了半天,发现这事儿根本没法直接看出来。你得在脑子里把自己挪到机器人那个位置,想象一下从那个角度看过去,红色锥体和蓝色方块会是什么相对关系。这个"脑补"的过程,人类做起来毫...

所属频道 机器人与具身智能

一张照片摆在面前,有人问:那个红色的锥形物体,如果从机器人的视角看,究竟落在蓝色方块左边还是右边?这种情况你碰到过吗?

盯着照片琢磨很久,你会发现光靠画面根本判断不了。办法只有一个——在脑子里把自己挪到机器人所处的位置,设想从那个方向望过去,红色锥体和蓝色方块谁前谁后、谁左谁右。这种"脑补",人做起来不费吹灰之力,可对AI而言,正好是迈不过去的一道坎。

2026年10月,香港理工大学与杭州一家生物科技公司的团队联合发表论文,提出了一个颇有意思的思路。他们没去教AI把图"看"得更明白,而是给它安排了一个会"拍视频"的帮手;AI一旦遇到想不通的问题,可以主动开口,让这个帮手把情形"演一遍"。

道理听着不复杂,里头的设计考量却不少。下面逐层拆解。

核心问题:AI看得见的,和需要推理的,是两码事

眼下的视觉语言模型(VLM),描述一张图里有什么,已经相当在行。

**视觉语言模型(VLM)**:这类AI模型能同时读懂图像与文字。举个例子,递给它一张图,图里有什么、正在发生什么,它都能讲出来。

可描述归描述,推理归推理,两者不能混为一谈。论文一开头就指出了一类任务:模型要回答的内容,压根不在输入图片之中。比如两个物体里挪动其中一个,它们会不会撞上?两张观测照片之间发生过什么,能不能推出来?换个视角看,场景会变成什么样?

这些问题有一个共同点——答案藏在"没被观察到"的时空里。给AI两张静态照片,中间的运动过程它看不见;给AI一个起始状态,"如果……会怎样"的后续走向它同样看不见。

按以往的做法,这类任务一般会接入一个叫做

**

问题在于,现有方案大多很死板。比如

假使世上的推理任务只剩"换视角"一种,固定流水线倒也够用。可实际情况是,论文里至少列出了四种截然不同的"想象"需求:改变视角做空间判断;在两个观测点之间插值,还原被隐藏的运动过程;顺着已知的运动趋势往后推演;对场景施加一个干预动作再看结果。四种需求对应四种完全不同的"脑补"方式,硬塞进同一条固定流水线,显然走不通。

整篇论文要解决的根本矛盾就在这里:AI需要的不是一个只会干一件事的工具,而是一套决策系统——它得知道该挑什么工具、工具怎么用、用完之后结果怎么解读。

方法解读:把AI变成一个会用工具的"侦探"

论文提出的系统叫Harness)。

**

这个脚手架由四样东西构成:工具、技能、验证器、执行代码。听着有些抽象,下面逐个拆开讲。

先看工具。论文设计了四类视频生成工具,一一对应四种"想象"操作:

有个细节需要多说两句。论文着重指出,生成请求应当"描述视觉变换本身,而不是预先设定任务答案"。这么要求,用意是防作弊。假如AI在生成视频的指令里直接写上"显示红色物体最终在蓝色物体左边",那视频工具干的就不是帮AI推理,而是替AI编造证据。好比考试作弊——出题人和答题人不能是同一个,生成视频的过程必须保持中立,只还原物理规律,不预设结论。

再看技能。所谓技能,就是一套套可复用的推理流程,它告诉AI:什么情况下挑哪个工具、请求怎么构造、生成的视频该怎么读。论文设计了三类技能:

"工具+技能"这个组合,让人想到新手侦探入职时领到的装备包。放大镜、指纹粉、紫外灯,工具是齐了,可光有工具远远不够,还得有前辈留下的办案手册,指点他哪条线索该用哪件工具查、查完又该怎么判断。工具是硬件,技能是软件,缺一不可。

整个推理过程被切成四个阶段,论文给这个起了个名字叫

这个设计其实在暗示一件事:生成的视频不是真理,它只是一份"预测的证据",AI必须带着怀疑的眼光去审视它,而不是全盘照收。

这套系统的样子画出来是论文里的图2,左边是工具和技能构成的"驾驶舱",右边是接下来要讲的进化机制。

核心创新:让AI和它的"摄影师"一起进化

光靠一套写死的工具和技能,显然不够。论文拿出的第二个核心贡献,就在这儿。

那么症结在哪?论文给出了一个挺关键的判断:请求怎么构造,和结果怎么读,这两件事被死死绑在一起。你只要改动了"向视频模型提要求"的方式,生成的视频里能捕捉到的线索就会随之变化,而读懂这些线索所需的指导也得重新配。想把两者拆开各调各的,行不通。

可以这么理解:一名摄影师加一名侦探,两人合办一桩案子。摄影师按侦探的吩咐去现场拍证据,侦探拿着照片推真相。一旦摄影师换了机位、改了曝光,侦探那套"从照片里抠线索"的老办法很可能当场失灵。拍摄习惯总在变,判读方法却原地踏步,搭档只会越配合越别扭。反过来,两人若能照着一次次办案的结果,同步去调"怎么拍"和"怎么看",默契才会越磨越顺。论文要解的正是这个结:工具怎么生成、技能怎么解读,得一起往前走,各干各的没戏。

落地时,论文设了一个监督者(supervisor),同样由VLM来驱动。四个推理阶段,每个阶段它都要翻看执行过程留下的痕迹(论文称之为execution traces),再给出修改意见。这些意见落在哪儿?可能是工具的接口定义,可能是技能的工作流程,也可能是验证器的指令,乃至执行代码本身。

**

进化的节奏是个"跑一遍、做总结、动手改、再重跑"的圈子。每个阶段最多改5次,监督者觉得够了可以提前叫停。改完以后,它从所有候选版本中挑出表现最好的那个,连同对应的交互历史一起交给下一阶段。四个阶段跑完算一轮,接着再来一轮,论文一共做了3轮进化。这期间,VLM和VWM自身的参数始终冻着,动的只是外围那套脚手架:工具如何定义、技能怎么写、代码怎么跑。

这套思路其实是在回应一个现实难题。想让系统变强,摆在面前的是两条路:要么重训底层大模型,代价高得吓人,想针对具体任务做细调还很难;要么模型不动,只改它外面的"说明书"和"工作流"。论文走了后一条。标题里特意点出"模型权重保持固定",原因也在这里。这并非技术上做不到,而是有意为之,为的是让系统的改进有迹可循、管得住、花得少。

实验结果:数字说话

设计讲了这么多,真打起来怎么样?论文在七个基准上做了验证,覆盖空间智能、时序因果推理、感知推理三大类。

最核心的一组数据是这样的:用GPT-5.6搭配MiniMax H3视频生成模型的组合,

有个对比挺有说服力。论文拉来五个"进化型"对手同场测试,分别是HSI、ReasoningBank、Meta-Harness、ExpeL、GEPA。它们的路子都是靠反复改提示词、记忆库或代码来涨性能,可谁都没把视频生成拉进来。结果呢?这五个在整体表现上全都低于直接推理基线,而CoWorld Reasoner在五个基准上把这五个对手都甩在了后面。

| 方法 |

|---|---|---|---|---|---|---|---|

| GPT-5.6直接推理 | 38.35 | 88.33 | 82.24 | 56.64 | 51.75 | 60.72 | 50.84 |

| + GEPA | 38.87 | 87.67 | 79.92 | 54.86 | 59.75 | 62.51 | 47.61 |

| + CoWorld Reasoner | **42.89** | **89.67** | **83.76** | **57.36** | 58.50 | 60.79 | **51.35** |

这组数字指向一点:只在文字层面反复抠提示词和记忆,碰上需要"看见看不见的东西"的任务未必管用,有些时候反倒把成绩拖低了。对这类空间与因果推理问题来说,生成视频这一步带来的是文字优化给不了的增量信息。

论文还做了一次剥离实验:关掉视频生成工具,只留技能指导和四阶段流程。结果显示,在CausalSpatial的遮挡(Occlusion)和碰撞(Collision)两个子任务上,开视频生成工具带来的提升最大,分别有5.36和2.55个百分点。这个结果不意外,遮挡和碰撞说到底就是"中间那段没被看到"的问题,生成视频正好把缺的过程补了回来。

当然,不是所有任务都吃这一套。SAT基准里的视角转换(Perspective Taking)子任务,关掉视频工具后分数照样很高。这说明这类题目的推理难度主要靠逻辑梳理就能拿下,生成视频帮不上额外的忙。视觉想象力不是万能药,用对地方才有效。

论文里还有个关于工具和技能使用频率的有趣发现。研究者统计了不同基准上AI调用技能和工具的频繁程度。在MMSI测试里,AI主要加载跨视角技能和

这好比一位老练的医生,普通感冒不会上来就开CT,碰到疑难杂症才会果断建议做核磁共振。工具使在刀刃上,才算真智能。

视频生成模型选谁,也会左右最终效果。论文拿MiniMax H3 Max Turbo和LTX-2.3这两个视频世界模型做了对比:H3带来的提升在各个基准上普遍更大,LTX-2.3在CausalSpatial上甚至比直接推理基线还略低一点。可见脚手架这套设计思路有一定通用性,换个视频生成引擎也能复用,但引擎自身生成质量的上限,仍然卡着整个系统能达到的天花板。

论文另外做了一组“迁移”测试:把给GPT-5.6搭好的脚手架原样搬到Grok-4.5上,只多跑一轮进化。整体准确率由32.86%升到39.78%,PerceptionBench和Spin两项基准涨得最明显。这说明脚手架里攒下的那套流程——挑工具、拼请求、读视频——并没有跟某个特定模型绑死。换一个“大脑”,办事方法照样能用。打个比方,就像一本成熟的操作手册,来了新员工,照着做也能很快上手,不必从零摸起。

论文附录的案例能看清系统怎么跑。有一题问:把叠放盘子中最底下那个抽走,其余盘子会怎样?AI第一反应是“其他盘子会塌”。可它调用干预工具生成视频后,画面里剩下的盘子稳稳待在原处,没有塌陷迹象。AI于是推翻先前的判断,改选“什么都不会发生”。这个例子挺说明问题:人靠直觉推的那句“抽掉底座肯定倒”,本身并不严谨;真正的物理规律得靠观察或模拟去验证,光凭常识脑补不行。

论文结论部分谈到后续方向,研究者提出要尝试

写在后面

读完全文,最让我记住的不是准确率涨了几个百分点,而是论文反复强调的一处细节:生成请求得描述视觉变换本身,不能预设答案。这话看着不起眼,却点出了一个很容易被忽略的坑。

给AI配一个能生成视频的工具,本意是让它去“验证”自己的猜测。可监控一旦不到位,这个工具就很容易变成AI自我验证的橡皮图章——生成的视频恰好印证了它一开始就想要的答案。系统看着在推理,其实是在自说自话。论文专门花篇幅设计验证器这个角色,让它独立于主推理链路,只负责客观描述生成视频里发生了什么。说到底,这是给系统装了一道防止自欺欺人的保险丝。

另一个值得琢磨的地方是,论文里五个对比的进化型基线方法,表现全都不如直接推理。这个结果挺扎心。它说明光堆“让AI自我反思、自我改进”这类机制,如果没有引入真正新的信息来源——比如这里的视频生成——很可能只是原地打转,甚至越改越差。所谓“自我进化”,若只是在同一套信息里反复咀嚼,边际效益很有限;真正的突破往往来自引入一个全新维度的信息,哪怕这个信息是“想象”出来的、不完全可靠。

还有一点挺有意思。CausalSpatial这个基准测试直译过来是“因果空间推理”,论文专门为这类题目设计了因果干预技能和对应工具。这相当于让AI学会做“假如……就会……”的反事实思考,而不只是描述眼前看到的东西。这种能力若继续发展,或许会越来越接近人类做决策、做规划时用到的心理模拟机制。这个方向值得持续追问。

当AI开始学会在脑子里“拍电影”来验证自己的猜测,它和那个盯着照片苦思冥想、在脑海里反复推演各种可能性的人,到底还差多远?

Q&A

Q1:CoWorld Reasoner是什么?

A:CoWorld Reasoner是一个智能推理框架,由香港理工大学等团队提出。它让AI模型在回答复杂视觉问题时,能主动调用视频生成模型去“想象”没有被直接观察到的画面,比如换个视角、推演运动过程。

Q2:CoWorld Reasoner和以往的视频世界模型方法有什么不同?

A:以往的方法通常只针对一种固定任务,比如只做新视角生成。CoWorld Reasoner则提供视角变换、插值、延续、干预四类工具,让AI自主判断该用哪种,同时引入协同进化机制,持续优化工具和使用技巧。

Q3:CoWorld Reasoner的效果提升明显吗?

A:七个基准测试中全部超过直接推理。MMSI基准相对提升11.8%,ERQA基准相对提升13.0%,并且在五个基准上超过了五种同类进化型方法。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 机器人学会“预判”:PINT如何让AI既会思考又会预测未来

    你有没有想过,为什么教机器人做一件简单的事,比如把杯子叠起来,会这么难?人类小孩看一眼大人示范,摸索几次就能学会。但机器人不行。它得先理解你说的"把杯子叠起来"是什么意思,还得看懂眼前的画面,还得知道接下来手该往哪儿伸、力道多大、什么时候该松手。这三件事分别对应着语言理解、视觉感知和动作控制,听起来简...

    来源 腾讯网
  2. 极智嘉杨隽哲:机器人成为物理AI商业落地的增长引擎

    【环球网科技综合报道】“企业的关注点正在发生变化,早期客户考量的是投资回报,但在海外用工短缺、旺季履约压力等挑战下,机器人已成为企业赢得业务机会的核心驱动力。”11月17日,在福布斯中国全球化物流行业盛典上,极智嘉中国区总裁杨隽哲与来自跨境物流、无人配送及跨境支付领域的行业嘉宾,共同探讨物理 AI 在物流领...

    来源 腾讯网
  3. 谷歌搜索框押注AI Overviews:广告收入承压,人形机器人仍要人抬上楼

    MIT Technology Review发布“AI炒作指数”,指出人工智能已渗透日常生活每个角落:Google不惜损失数十亿美元广告收入强推AI Overviews,人形机器人开始被搬进家庭清洁场景,超市、街道、手机屏幕处处是AI。文章剖析这场全民AI热潮背后的商业逻辑、技术现实与泡沫隐忧,追问当AI像皮疹一样蔓延时

    来源 AI 行业观察
  4. Artex成犯罪分子新宠:AI黑客工具让新手也能“点按式”攻击

    WIRED报道称,一款名为Artex的“即点即用”AI黑客工具正在犯罪分子中流行。它和同类渗透测试工具能自动扫描目标系统漏洞,并借助用户输入的提示词驱动聊天机器人完成攻击。这标志着网络攻击门槛正被生成式AI大幅拉低:无需深厚技术背景,新手也能快速搭建攻击链,攻防双方的力量对比与安全治理方式都将面临新的考验。

    来源 AI 行业观察
  5. 人形机器人租赁价跌破2000元,融资7月后普遍下滑

    (本文作者为 木禾商业财经,钛媒体经授权发布)文 | 木禾商业财经,作者 I 龚正,编辑 I 杨晶具身智能机器人,在2026年只走过两个季节。一是疯狂的火热夏季,二是寒意开吹的冬天。宇树的王兴兴,在为各路投资人赚得盆满钵满、只留自己继续创业后,明显开始更多活跃于公共舆论与“微博热搜”之间,开始更多push宇树机器人的.

    来源 腾讯网
  6. 当3D建模变成了写代码这件事

    你有没有想过,一个三维物体,一座房子,一条机械臂,甚至一场动画,可以用一行行文字代码直接写出来,而不是靠鼠标在软件里一点点拖拽?这听起来有点反直觉。我们习惯的3D建模是Blender里拉面、挤出、贴材质,是CAD软件里画草图、拉伸、倒角,全程靠眼睛看、靠手调。但如果换个思路,让3D内容从一开始就是一段可执行的程序,..

    来源 腾讯网
  7. 联想AI业务收入破700亿:利润结构已变,PC标签淡出

    当下,AI浪潮正在从概念炒作走向产业落地,在前期大规模投入之后,商业化成为市场现阶段关注的问题。11月19日,联想集团对外发布2026/27财年第二季度业绩,季度营收首次突破2000亿元,同比增长近50%;调整后净利润同比增长166%,同样创下历史新高。而比增长更值得关注的,则是这份财报背后,联想业务结构以及利润来源的

    来源 腾讯网
  8. 郑渊洁71岁用AI做动画,8部短片免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  9. 郑渊洁用AI做动画短片:8部已上线,宣布作品免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  10. 英伟达临时CEO克雷斯回应换帅疑虑:AI芯片业务照常,产品节奏不变

    【TechWeb】11月19日,行业媒体Digitimes发布报道,聚焦黄仁勋辞任后英伟达首次财报电话会议。针对外界“换帅是否会打乱AI芯片供货”的疑虑,临时CEO科莱特·克雷斯(Colette Kress)明确回应:公司业务照常开展。 克雷斯在会上强调,英伟达未来产品的开发与推出节奏保持不变,公司的运营表现、业务展望

    来源 AI 行业观察
  11. 上市前一天,80余位学界与AI大佬联合声明:“Anthropic不是一家安全的AI公司”

    【TechWeb】11月18日,Anthropic正式确定IPO发行价为每股83美元,高于此前70-78美元的指导区间;公司连同部分股东共发行约9.8亿股A类普通股,公开发行筹资约813亿美元,叠加向谷歌、英伟达、微软等战略投资者的260亿美元私募配售,合计融资规模突破944亿美元,超越SpaceX今年6月创下的纪录,

    来源 AI 行业观察
  12. 机器人世界模型新方法:绕开画风差异,只对齐动作变化

    你大概见过这样的视频:机械臂在桌面上抓起一个杯子,动作丝滑得像人。可如果你把这段视频的真实来源翻出来,会发现它根本没在真桌子上拍过,而是模型"想"出来的未来。这件事在机器人研究里已经不算新鲜,真正让人头疼的是另一件:模型想出来的动作,到底靠不靠谱。先从一个具体的麻烦说起。假设你训练了一个视频世界模型,...

    来源 腾讯网
  13. 17款人形,三门生意,多少水分?

    加入高工机器人专业行业群,加微信:13510670440,出示名片,仅限机器人及智能制造产业链相关企业。*本文共约 5919 字,阅读完成需 12 分钟。如果只看数量,在刚过去的10月,人形机器人行业足够热闹。正行创新H1、C1,汇川技术InoBot W1,中科第五纪纪灵-S1,节卡JAKA Kargo50,隆崎HR-

    来源 腾讯网
  14. 让大语言模型学会把方向盘交出去

    你有没有想过,一个客服机器人在接到"帮我取消订单"这种请求时,脑子里到底在发生什么?它要先查这个客户是谁,再查订单状态,然后决定是直接取消还是该先问一句"您确定吗"。这一整套流程,看起来简单,但背后每一步都要调用一次大语言模型,也就是那个又贵又慢的AI大脑。**大语言模型*:指像GPT、Gemini这样参数规模巨大、.

    来源 腾讯网
  15. AIE电子展2026:一展双城,诺奖得主与芯片掌门人同台聊什么?

    人工智能与制造业的关系,正在从“展示”走向“改造”。 过去两年,AI在产业端最直观的形象,是展台上会跳舞的人形机器人和能自动生成文案的模型。但当技术真正进入工厂、进入供应链、进入材料和芯片实验室,问题开始变得具体:算力够不够便宜、材料迭代跟不跟得上、AI的能耗由谁承担、芯片与整机如何协同升级。 这些问题的共同点是——没

    来源 AI 行业观察
  16. 三星天气App新动向:One UI 9.5内测AI目的地提醒?

    IT之家 11 月 20 日消息,科技媒体 SamMobile 昨日(11 月 19 日)发布博文,报道称在 One UI 9.5 首个 Beta 测试版中,三星正在为天气(Weather)应用酝酿 AI 升级,在用户出发前提醒其查看目的地天气。IT之家援引博文介绍,系统识别到用户计划前往另一座城市后,天气应用会显示“

    来源 腾讯网
  17. 阿里云季度收入2715.19亿元:AI产品年化破100亿美元,平头哥担纲主力

    AI带来的变化,正越来越直观地反映在阿里的财报上。11月19日,阿里发布截至2026年9月30日止的季度财报。当季集团实现收入2715.19亿元,同比增长10%;经调整EBITA同比增长260%,达到326.36亿元。在四大板块中,AI云与算力服务增速最快,当季收入609.73亿元,同比增长53%,在集团总收入中的占比

    来源 腾讯网
向下滚动自动加载更多