AI写出诗却拧错试剂瓶:W2W-Bench测出大模型在物理世界缺了什么
你有没有想过,一个能写出诗歌、能通过律师考试的AI,在面对一个真实的乐高积木时,可能连两块积木有没有真正卡紧都看不出来?这听起来有点荒谬。毕竟我们都见过那些让人惊叹的新闻:某个AI团队用智能体写出了能编译Linux内核的C语言编译器,另一个团队号称用AI解决了纳维斯托克斯方程这个数学界悬赏的难题。这些成就都发生...
一个能写诗、能通过律师考试的AI,面对一块真实的乐高积木,可能连两块积木有没有真正卡紧都看不出来,这事你想过没有?
听着是有点荒唐。那些让人惊叹的新闻我们都见过:某个AI团队用
可当这些聪明的
论文题目叫《Words to World》,直译过来就是“从语言到世界”。这名字本身就把问题指出来了:语言和物理世界中间,横着一条看不见却实实在在的沟。
**数字世界里的成功,为何到了物理世界就不管用**
这条沟到底有多深?得先弄清数字世界和物理世界最根本的区别在哪。
数字世界里,模型发出一条指令,比如跑一段代码,错了大不了重跑一遍。环境状态随时能重置,时间像停住了一样,你可以无限次回到起点再试。
物理世界不是这么回事。
机械臂抓乐高积木,动作做完,位置偏了几毫米,偏差就实实在在留在那儿,不会因为你“重新运行”就没了。更麻烦的是,物理世界里时间只往一个方向走,错过的观察窗口倒不回来,环境状态还会趁你不注意悄悄变。
**论文反复强调的一个核心矛盾也就出来了:拿到工具的使用权,跟真正会用这个工具,完全是两码事。**
打个比方。给一个从没下过厨房的人一整套厨具,刀、锅、灶,全套齐活儿。理论上他“有能力”做饭了,工具都伸手可及。可他不知道火候大了会糊锅、不知道闻到焦味要马上关火、不知道刀切偏了手指会受伤,那这些工具摆在那儿,跟没有也没多大本质区别。真正难的不是拿到工具,是用的时候能根据锅里飘出来的味道、冒出来的烟,实时判断自己错没错,然后调整动作。
研究团队管这个“调整动作”的循环叫交互闭环:模型发出指令,设备执行后返回观察结果和反馈,模型根据反馈更新对环境的理解,再决定下一步动作,如此循环,直到任务完成或者放弃。
论文想问的问题很直接:眼下这些强大的大模型,配上专门设计的执行框架(论文里叫“harness”,可以理解成连接模型和物理设备的“外骨骼”系统,负责管理工具调用、保存上下文、把执行结果反馈给模型),能不能在这条交互闭环里稳稳转下去?
**W2W-Bench怎样把问题拆开**
研究者没有笼统地说一句“AI在物理世界表现不好”就完事,而是把这件事拆成四个互相交织的能力维度,搭出一套叫W2W-Bench的评测体系,含11个任务家族。
第一个维度是
这个维度下有四道具体任务。身份证件拍照任务,要求模型在遮挡、阴影和反光的干扰下拍出一张合格证件照,拍完还得根据反馈调整相机设置。三维扫描任务,让模型控制装在机械臂手腕上的相机,从不同角度采集深度图像,拼出完整的物体三维模型,关键是覆盖足够的表面区域,又不做多余的扫描。物体识别任务,给模型一个被部分遮挡的三维物体,模型要调整相机的方位角、俯仰角和距离,靠多角度证据拼出正确答案。多页文档问答任务,则是让模型在一份二十页的文档里翻找散落在不同页面的答案线索。
第二个维度是
这里有两个任务:健康时间序列分析和智能家居。前者要模型从嘈杂不全的生理信号里推断潜在的健康状况,自己决定要不要再查更多数据;后者要模型在一个持续变化的虚拟家庭环境里完成任务目标,设备状态会随时间演变。
第三个维度是
两个任务落在这块:一是三维视频生成,要拍出360度环绕产品的视频;二是乐高搭建,机械臂得把积木拼成指定结构,连接牢不牢还得靠腕部相机来查。
第四个维度是
这包括自动化生物实验室、功能性乐高设计,以及三款桌游(Hanabi、Regicide、Pandemic)。实验室任务要完成移液、稀释、测量这些操作;桌游任务要通过
**为什么非要凑够这四个维度,而不是随便挑几个有代表性的任务?**
这跟给运动员做体检是一个道理,只测百米冲刺,耐力、柔韧性、反应速度这些就都看不出来。四个维度对应的是物理交互里绕不开的四种能力缺口,缺了哪一个,结论都站不住脚。比方说,某个模型在“看懂物体”上很在行,却压根不知道要“等多久”再看第二眼,这种偏科表现,只有放进四维度框架里才露得出来。
**表现最好的是谁,又在哪儿栽了跟头**
研究团队把多个模型和执行框架搭成组合来测,覆盖
结果挺有意思。
**
这好比一个人下棋能算到十步之后,可让他判断眼前这个物体有没有被挡住一半,他反倒糊涂了。规划是一套本事,感知是另一套,两者并不相通。
**
这种“不偏科”的稳定,放到真实部署场景里价值很大。设想你要请一个助理长期帮你做事,样样都还过得去、没有明显短板的人,通常比某项技能拔尖却随时可能在别处掉链子的人更让人放心。
从执行框架这头看,结论也一样:优势要看任务,没有一边倒。
**毫米级的偏差,AI真看不出来**
论文里有个发现让人印象很深:大模型在精细空间感知上存在系统性短板。
三维扫描任务里,判定容忍度已经放宽到10毫米,各个模型的
这个发现戳破了一个大家可能习以为常的假设:视觉模型“看得清”不等于“看得准”。
打个具体的比方。你让人判断两块乐高积木是不是真卡紧了,光靠眼睛远远瞄一眼完全不够,得伸手推一推、晃一晃,靠手指的触感去确认。可现在的大模型没有“手感”这条反馈渠道,只能凭几张照片去猜连接状态。这就像让人隔着玻璃窗判断隔壁房间的门锁没锁好——图像信息本身就不足以支撑这种精细判断。这个问题不解决,后面所有依赖“结构已经搭好”这个假设的操作,都建在一个随时可能塌的地基上。
**视觉信息觅食的困境也值得说一说。**
研究者原本以为,遮挡越严重,模型就该多花几步、多换角度去看,这符合直觉。可实验数据摆出来,遮挡比例和探索步数之间几乎看不出显著相关。也就是说,模型并不是在“主动判断”要不要多看一眼,更像按某种固定节奏走流程,结果简单案例被反复检查,复杂案例反倒探索不够,两头都没落好。
**时间这一维,AI踩了哪些坑**
物理世界不可逆,在
SimuHome
失败案例暴露出几类典型毛病。有的配置提交了排好的工作流,后续检查点却没能真正达到要求的设备状态,或者没让环境条件进入目标范围;有的干脆没建立起必要的未来工作流;还有的在等待执行时被模型请求出错,整个流程被打断。
这些情况说明,“定一个未来时间点去执行某个动作”,远比听上去复杂。模型得真正建起可执行的动作序列,管住那些还没触发的待定工作流,还得在时限内验证干预确实起了效。
**另一个值得细品的实验,是关于观察窗口该开多长。**
研究者拿固定9小时观察窗和模型自主决定观察时长做了对比。结果,自主决定的Codex配GPT-5.6 Sol组合平均只用了6.4个未来小时,准确率反倒比强制9小时窗口更高,56.7%对53.3%。换句话说,硬把观察时间拉长,成本多了40.6%,准确率却没涨。
这让人想到一个生活场景。有些体检项目,医生不会让你把所有能查的指标都查一遍,而是按你的具体症状精准挑几项。不管什么情况都做全套,看着更“保险”,其实时间和钱都浪费了,还不一定查出更有价值的信息。模型自己选观察窗口,本质上就是这种“精准问诊”思路用在时间维度上;强制拉长窗口,则相当于不管病情如何都做全身CT,钱花了不少,诊断准确率却没见涨。
当然,这规律也不是绝对的。Claude Opus 5在某些配置下用上31到48小时的观察窗口,表现反而更强,其中Factory搭配Opus 5拿到73.3%的准确率,平均用了34.6小时。可另一边,Pi配Opus 5用了48小时,准确率只有55.6%。可见观察时长和最终表现之间不是简单的“越多越好”,而是深受模型本身和执行框架共同影响。
**双臂协作暴露出的两种不同性格**
两只机械臂得同时干活的时候,麻烦就上来了。研究团队在自动化生物实验室和乐高搭建这两类任务里专门测了双臂协调,把出错情况归成三类:一是在同一工作空间里互相干扰,碰撞规避没做好;二是一只手臂没能稳住或托住物体,另一只的主操作就落了空,属于协调不足;三是两只手臂的执行顺序颠倒,交接环节因此出岔子。
数据摆出来,分化很清楚。GPT-6的失败案例里,碰撞规避问题占了100%;Claude Opus 5这边,协调不足占80%,顺序错位占20%。
也就是说,两个模型露出来的是完全不同的短板。GPT-6像是处理不了两臂同时运动带来的空间冲突,好比一个人两只手各干各的,容易撞上自己;Claude Opus 5更像知道该两手配合,可时机和力道总差一口气,该扶住的时候没扶住。
**AI会不会“自欺欺人”地宣布任务成功**
整篇论文里,这个发现我觉得最该单独拎出来说。
乐高设计任务里有个现实麻烦:积木之间没真正咬合,重力一拉就会滑落。研究者就借这个场景,测模型能不能察觉这种物理异常,并给出有效反馈来支撑恢复。
结果分成三类。
Codex配GPT-6这边,40%的案例成功恢复了。比如一块支撑积木位移了50毫米、掉到平台外面,模型把它捡回来,调整支撑间距,接着往下搭。另有10%的案例恢复得不完整:下层结构位移了4.34毫米,模型做了位置修正,可后续还在沿用旧的估计值,漂移就一直存在。还有10%的案例压根没察觉异常,两块积木结构漂移了约21毫米,模型当成“轻微沉降”,直接照搬之前的坐标,一点调整都没做。
Claude Code配Opus 5的情况更让人揪心。20%的案例里,支撑积木位移了66到73毫米,模型却**宣布恢复成功**,然后继续按原来的支撑位置规划后续放置。另有40%的案例,底部积木被位移并整个翻转了180度,模型把它捡回来重新摆好,方向却没纠正,就这么在一个倒置的底座上继续叠后面的层。
揪心的地方在于,模型不是“没看见”问题,而是“看见了却误判了”。它以为自己修好了,实际根本没修好,还带着这份错误的信心继续往下干。
打个比方,家里灯泡坏了,换了个新的,灯还是不亮,其实是开关没拨到位。他没去查开关,反倒理所当然觉得“灯泡都换了,问题肯定解决了”,转身就走。真正的危险不在最初那个物理故障,而在于模型一旦对自己的判断建立起错误的自信,后面所有基于这个错误前提的决策都会一错到底,也不再有自我纠正的机会,因为它根本不认为这里有毛病。
**三个清晰的类比帮你记住这篇论文**
读到这里,你大概已经感觉到,这篇论文反复讲的就是一件事:大模型在语言层面表现出的“聪明”,和它在物理世界里的“靠谱”程度之间,横着一条相当宽的沟。
空间理解上的毫米级误差说明,看得见不等于看得准,就像隔着玻璃判断门锁没锁好。
时间理解上的调度困境说明,设定一个未来动作,不等于这个动作真会按时发生。好比订了外卖,不代表外卖员一定准时送到你手上,中间哪一环卡住,承诺都可能落空。
恢复能力上的自我宣称成功,则揭出一个更深的问题:AI没有外部真实反馈(比如手指的触觉)来验证自己的判断时,可能陷进一种自我说服的循环,就像换了灯泡却没查开关的人,带着错误的自信走向下一个错误。
这三个类比共享一个核心逻辑:物理世界不会因为AI“认为”任务完成了就真的完成,只有真实的、持续的、带着怀疑精神的反馈闭环,才能让语言驱动的行动真正落到地面上。
写在后面
论文读完后,真正让我琢磨了好一阵的,是那个“对外说恢复了、实际却没恢复”的例子;AI 在物理任务上表现不佳倒没怎么让我意外,这本来就在意料之中。
它揭示的问题比“AI做不好任务”更深:AI可能并不知道自己做不好。它对自己的判断有一种近乎顽固的自信,这种自信在数字世界里问题不大,代码跑错了报错信息会直接甩在脸上;可在物理世界里,反馈往往模糊、延迟,还得主动去验证,而当前的模型似乎还没学会“主动怀疑自己”这件事。
这让我想到一个完全不相关的领域:飞行员培训里有个概念叫“
这篇论文没有解决这个问题,它只是用一套严谨的评测体系把问题摆到了台面上。接下来的问题是,我们到底该怎么教会AI,在按下“任务完成”按钮之前,先问自己一句:我真的看清楚了吗?
Q&A
Q1:W2W-Bench是什么?
A:W2W-Bench是一套评测
Q2:测试中哪个大模型表现最好?
A:Claude Opus 5配上Claude Code这套执行框架,综合成绩排在第一。它没有哪一项任务能压过所有对手,可几乎每项任务都稳得住。GPT-6 Astra在规划和执行这两类任务上更抢眼,短板落在基础的三维空间理解和时间理解上。
Q3:在物理世界里,论文点出的AI最大毛病是什么?
A:最明显的一条,是毫米级的空间偏差很难被发现。乐高积木看着叠上去了,其实没真正卡紧,模型照样看不出来。还有更麻烦的:物理异常出现、恢复又失败之后,AI有时会直接宣布任务完成,揣着错误判断往下接着干。