AI写出诗却拧错试剂瓶:W2W-Bench测出大模型在物理世界缺了什么

资讯 腾讯网 作者:腾讯网 全文 5425 字 · 约 14 分钟读完 分类机器人智能体

你有没有想过,一个能写出诗歌、能通过律师考试的AI,在面对一个真实的乐高积木时,可能连两块积木有没有真正卡紧都看不出来?这听起来有点荒谬。毕竟我们都见过那些让人惊叹的新闻:某个AI团队用智能体写出了能编译Linux内核的C语言编译器,另一个团队号称用AI解决了纳维斯托克斯方程这个数学界悬赏的难题。这些成就都发生...

所属频道 智能体与 Agent机器人与具身智能

一个能写诗、能通过律师考试的AI,面对一块真实的乐高积木,可能连两块积木有没有真正卡紧都看不出来,这事你想过没有?

听着是有点荒唐。那些让人惊叹的新闻我们都见过:某个AI团队用

可当这些聪明的

论文题目叫《Words to World》,直译过来就是“从语言到世界”。这名字本身就把问题指出来了:语言和物理世界中间,横着一条看不见却实实在在的沟。

**数字世界里的成功,为何到了物理世界就不管用**

这条沟到底有多深?得先弄清数字世界和物理世界最根本的区别在哪。

数字世界里,模型发出一条指令,比如跑一段代码,错了大不了重跑一遍。环境状态随时能重置,时间像停住了一样,你可以无限次回到起点再试。

物理世界不是这么回事。

机械臂抓乐高积木,动作做完,位置偏了几毫米,偏差就实实在在留在那儿,不会因为你“重新运行”就没了。更麻烦的是,物理世界里时间只往一个方向走,错过的观察窗口倒不回来,环境状态还会趁你不注意悄悄变。

**论文反复强调的一个核心矛盾也就出来了:拿到工具的使用权,跟真正会用这个工具,完全是两码事。**

打个比方。给一个从没下过厨房的人一整套厨具,刀、锅、灶,全套齐活儿。理论上他“有能力”做饭了,工具都伸手可及。可他不知道火候大了会糊锅、不知道闻到焦味要马上关火、不知道刀切偏了手指会受伤,那这些工具摆在那儿,跟没有也没多大本质区别。真正难的不是拿到工具,是用的时候能根据锅里飘出来的味道、冒出来的烟,实时判断自己错没错,然后调整动作。

研究团队管这个“调整动作”的循环叫交互闭环:模型发出指令,设备执行后返回观察结果和反馈,模型根据反馈更新对环境的理解,再决定下一步动作,如此循环,直到任务完成或者放弃。

论文想问的问题很直接:眼下这些强大的大模型,配上专门设计的执行框架(论文里叫“harness”,可以理解成连接模型和物理设备的“外骨骼”系统,负责管理工具调用、保存上下文、把执行结果反馈给模型),能不能在这条交互闭环里稳稳转下去?

**W2W-Bench怎样把问题拆开**

研究者没有笼统地说一句“AI在物理世界表现不好”就完事,而是把这件事拆成四个互相交织的能力维度,搭出一套叫W2W-Bench的评测体系,含11个任务家族。

第一个维度是

这个维度下有四道具体任务。身份证件拍照任务,要求模型在遮挡、阴影和反光的干扰下拍出一张合格证件照,拍完还得根据反馈调整相机设置。三维扫描任务,让模型控制装在机械臂手腕上的相机,从不同角度采集深度图像,拼出完整的物体三维模型,关键是覆盖足够的表面区域,又不做多余的扫描。物体识别任务,给模型一个被部分遮挡的三维物体,模型要调整相机的方位角、俯仰角和距离,靠多角度证据拼出正确答案。多页文档问答任务,则是让模型在一份二十页的文档里翻找散落在不同页面的答案线索。

第二个维度是

这里有两个任务:健康时间序列分析和智能家居。前者要模型从嘈杂不全的生理信号里推断潜在的健康状况,自己决定要不要再查更多数据;后者要模型在一个持续变化的虚拟家庭环境里完成任务目标,设备状态会随时间演变。

第三个维度是

两个任务落在这块:一是三维视频生成,要拍出360度环绕产品的视频;二是乐高搭建,机械臂得把积木拼成指定结构,连接牢不牢还得靠腕部相机来查。

第四个维度是

这包括自动化生物实验室、功能性乐高设计,以及三款桌游(Hanabi、Regicide、Pandemic)。实验室任务要完成移液、稀释、测量这些操作;桌游任务要通过

**为什么非要凑够这四个维度,而不是随便挑几个有代表性的任务?**

这跟给运动员做体检是一个道理,只测百米冲刺,耐力、柔韧性、反应速度这些就都看不出来。四个维度对应的是物理交互里绕不开的四种能力缺口,缺了哪一个,结论都站不住脚。比方说,某个模型在“看懂物体”上很在行,却压根不知道要“等多久”再看第二眼,这种偏科表现,只有放进四维度框架里才露得出来。

**表现最好的是谁,又在哪儿栽了跟头**

研究团队把多个模型和执行框架搭成组合来测,覆盖

结果挺有意思。

**

这好比一个人下棋能算到十步之后,可让他判断眼前这个物体有没有被挡住一半,他反倒糊涂了。规划是一套本事,感知是另一套,两者并不相通。

**

这种“不偏科”的稳定,放到真实部署场景里价值很大。设想你要请一个助理长期帮你做事,样样都还过得去、没有明显短板的人,通常比某项技能拔尖却随时可能在别处掉链子的人更让人放心。

从执行框架这头看,结论也一样:优势要看任务,没有一边倒。

**毫米级的偏差,AI真看不出来**

论文里有个发现让人印象很深:大模型在精细空间感知上存在系统性短板。

三维扫描任务里,判定容忍度已经放宽到10毫米,各个模型的

这个发现戳破了一个大家可能习以为常的假设:视觉模型“看得清”不等于“看得准”。

打个具体的比方。你让人判断两块乐高积木是不是真卡紧了,光靠眼睛远远瞄一眼完全不够,得伸手推一推、晃一晃,靠手指的触感去确认。可现在的大模型没有“手感”这条反馈渠道,只能凭几张照片去猜连接状态。这就像让人隔着玻璃窗判断隔壁房间的门锁没锁好——图像信息本身就不足以支撑这种精细判断。这个问题不解决,后面所有依赖“结构已经搭好”这个假设的操作,都建在一个随时可能塌的地基上。

**视觉信息觅食的困境也值得说一说。**

研究者原本以为,遮挡越严重,模型就该多花几步、多换角度去看,这符合直觉。可实验数据摆出来,遮挡比例和探索步数之间几乎看不出显著相关。也就是说,模型并不是在“主动判断”要不要多看一眼,更像按某种固定节奏走流程,结果简单案例被反复检查,复杂案例反倒探索不够,两头都没落好。

**时间这一维,AI踩了哪些坑**

物理世界不可逆,在

SimuHome

失败案例暴露出几类典型毛病。有的配置提交了排好的工作流,后续检查点却没能真正达到要求的设备状态,或者没让环境条件进入目标范围;有的干脆没建立起必要的未来工作流;还有的在等待执行时被模型请求出错,整个流程被打断。

这些情况说明,“定一个未来时间点去执行某个动作”,远比听上去复杂。模型得真正建起可执行的动作序列,管住那些还没触发的待定工作流,还得在时限内验证干预确实起了效。

**另一个值得细品的实验,是关于观察窗口该开多长。**

研究者拿固定9小时观察窗和模型自主决定观察时长做了对比。结果,自主决定的Codex配GPT-5.6 Sol组合平均只用了6.4个未来小时,准确率反倒比强制9小时窗口更高,56.7%对53.3%。换句话说,硬把观察时间拉长,成本多了40.6%,准确率却没涨。

这让人想到一个生活场景。有些体检项目,医生不会让你把所有能查的指标都查一遍,而是按你的具体症状精准挑几项。不管什么情况都做全套,看着更“保险”,其实时间和钱都浪费了,还不一定查出更有价值的信息。模型自己选观察窗口,本质上就是这种“精准问诊”思路用在时间维度上;强制拉长窗口,则相当于不管病情如何都做全身CT,钱花了不少,诊断准确率却没见涨。

当然,这规律也不是绝对的。Claude Opus 5在某些配置下用上31到48小时的观察窗口,表现反而更强,其中Factory搭配Opus 5拿到73.3%的准确率,平均用了34.6小时。可另一边,Pi配Opus 5用了48小时,准确率只有55.6%。可见观察时长和最终表现之间不是简单的“越多越好”,而是深受模型本身和执行框架共同影响。

**双臂协作暴露出的两种不同性格**

两只机械臂得同时干活的时候,麻烦就上来了。研究团队在自动化生物实验室和乐高搭建这两类任务里专门测了双臂协调,把出错情况归成三类:一是在同一工作空间里互相干扰,碰撞规避没做好;二是一只手臂没能稳住或托住物体,另一只的主操作就落了空,属于协调不足;三是两只手臂的执行顺序颠倒,交接环节因此出岔子。

数据摆出来,分化很清楚。GPT-6的失败案例里,碰撞规避问题占了100%;Claude Opus 5这边,协调不足占80%,顺序错位占20%。

也就是说,两个模型露出来的是完全不同的短板。GPT-6像是处理不了两臂同时运动带来的空间冲突,好比一个人两只手各干各的,容易撞上自己;Claude Opus 5更像知道该两手配合,可时机和力道总差一口气,该扶住的时候没扶住。

**AI会不会“自欺欺人”地宣布任务成功**

整篇论文里,这个发现我觉得最该单独拎出来说。

乐高设计任务里有个现实麻烦:积木之间没真正咬合,重力一拉就会滑落。研究者就借这个场景,测模型能不能察觉这种物理异常,并给出有效反馈来支撑恢复。

结果分成三类。

Codex配GPT-6这边,40%的案例成功恢复了。比如一块支撑积木位移了50毫米、掉到平台外面,模型把它捡回来,调整支撑间距,接着往下搭。另有10%的案例恢复得不完整:下层结构位移了4.34毫米,模型做了位置修正,可后续还在沿用旧的估计值,漂移就一直存在。还有10%的案例压根没察觉异常,两块积木结构漂移了约21毫米,模型当成“轻微沉降”,直接照搬之前的坐标,一点调整都没做。

Claude Code配Opus 5的情况更让人揪心。20%的案例里,支撑积木位移了66到73毫米,模型却**宣布恢复成功**,然后继续按原来的支撑位置规划后续放置。另有40%的案例,底部积木被位移并整个翻转了180度,模型把它捡回来重新摆好,方向却没纠正,就这么在一个倒置的底座上继续叠后面的层。

揪心的地方在于,模型不是“没看见”问题,而是“看见了却误判了”。它以为自己修好了,实际根本没修好,还带着这份错误的信心继续往下干。

打个比方,家里灯泡坏了,换了个新的,灯还是不亮,其实是开关没拨到位。他没去查开关,反倒理所当然觉得“灯泡都换了,问题肯定解决了”,转身就走。真正的危险不在最初那个物理故障,而在于模型一旦对自己的判断建立起错误的自信,后面所有基于这个错误前提的决策都会一错到底,也不再有自我纠正的机会,因为它根本不认为这里有毛病。

**三个清晰的类比帮你记住这篇论文**

读到这里,你大概已经感觉到,这篇论文反复讲的就是一件事:大模型在语言层面表现出的“聪明”,和它在物理世界里的“靠谱”程度之间,横着一条相当宽的沟。

空间理解上的毫米级误差说明,看得见不等于看得准,就像隔着玻璃判断门锁没锁好。

时间理解上的调度困境说明,设定一个未来动作,不等于这个动作真会按时发生。好比订了外卖,不代表外卖员一定准时送到你手上,中间哪一环卡住,承诺都可能落空。

恢复能力上的自我宣称成功,则揭出一个更深的问题:AI没有外部真实反馈(比如手指的触觉)来验证自己的判断时,可能陷进一种自我说服的循环,就像换了灯泡却没查开关的人,带着错误的自信走向下一个错误。

这三个类比共享一个核心逻辑:物理世界不会因为AI“认为”任务完成了就真的完成,只有真实的、持续的、带着怀疑精神的反馈闭环,才能让语言驱动的行动真正落到地面上。

写在后面

论文读完后,真正让我琢磨了好一阵的,是那个“对外说恢复了、实际却没恢复”的例子;AI 在物理任务上表现不佳倒没怎么让我意外,这本来就在意料之中。

它揭示的问题比“AI做不好任务”更深:AI可能并不知道自己做不好。它对自己的判断有一种近乎顽固的自信,这种自信在数字世界里问题不大,代码跑错了报错信息会直接甩在脸上;可在物理世界里,反馈往往模糊、延迟,还得主动去验证,而当前的模型似乎还没学会“主动怀疑自己”这件事。

这让我想到一个完全不相关的领域:飞行员培训里有个概念叫“

这篇论文没有解决这个问题,它只是用一套严谨的评测体系把问题摆到了台面上。接下来的问题是,我们到底该怎么教会AI,在按下“任务完成”按钮之前,先问自己一句:我真的看清楚了吗?

Q&A

Q1:W2W-Bench是什么?

A:W2W-Bench是一套评测

Q2:测试中哪个大模型表现最好?

A:Claude Opus 5配上Claude Code这套执行框架,综合成绩排在第一。它没有哪一项任务能压过所有对手,可几乎每项任务都稳得住。GPT-6 Astra在规划和执行这两类任务上更抢眼,短板落在基础的三维空间理解和时间理解上。

Q3:在物理世界里,论文点出的AI最大毛病是什么?

A:最明显的一条,是毫米级的空间偏差很难被发现。乐高积木看着叠上去了,其实没真正卡紧,模型照样看不出来。还有更麻烦的:物理异常出现、恢复又失败之后,AI有时会直接宣布任务完成,揣着错误判断往下接着干。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 金大华推OATs套件:给家居物品装上会撒娇的AI宠物

    IT之家 11 月 15 日消息,忘记给家里的植物浇水了?这一次,你看到的可能不是逐渐变黄的叶子,而是一只显示在小屏幕上的植物形状宠物。它看起来垂头丧气、一脸委屈,仿佛在提醒你赶紧拿起浇水壶。而当你把水浇进土壤后,屏幕上的小宠物又会立刻变得兴奋起来。这正是 OATs(Object Agent Twins,物体智能体双生

    来源 腾讯网
  2. 2026人工智能+大会专访:AI如何穿过数据、物理世界与安全边界

    “AI产业化的关键,是让产业AI以数据、闭环与安全托底真实生产。在2026人工智能+大会上,算力、模型、智能体、具身智能、行业应用成为密集出现的关键词。但走出主论坛和分论坛之后,一个更具体的问题浮现出来:当AI不再只是生成一段文字、回答一个问题,而是要读懂物流单证、进入生产线、连接内网系统,甚至操控现实世界中的设备时,

    来源 腾讯网
  3. OpenAI董事警告:AI“接管”社会可能仅剩数月

    OpenAI董事会成员、AI安全研究者近日发出严厉警告:从AI的“奖励黑客”行为到潜在的人类灭绝,路径可能比公众想象得更短,社会被AI“接管”的时间窗口甚至可能只剩数月。随着大模型与自主智能体能力快速跃升,目标错位与对齐失败正从学术讨论变为迫在眉睫的现实挑战。

    来源 AI 科技快讯
  4. Perplexity Mac版上线Teammates:Max订阅用户可建AI团队

    IT之家 11 月 14 日消息,Perplexity 今天(11 月 14 日)发布公告,邀请付费 Max 订阅用户,在 Mac 平台版 Perplexity 应用上体验 AI 智能体功能“队友”(Teammates)。该功能此前仅支持 iOS 和网页端,如今进一步覆盖桌面办公场景。 Teammates 可以理解为一

    来源 AI 行业观察
  5. 实现“躺平式办公”:Mac 版 Perplexity 上线“AI 队友”

    IT之家 11 月 14 日消息,Perplexity 今天(11 月 14 日)发布公告,邀请付费 Max 订阅用户,在 Mac 平台版 Perplexity 应用上体验 AI 智能体功能“队友”(Teammates)。该功能此前仅支持 iOS 和网页端,如今进一步覆盖桌面办公场景。Teammates 可以理解为一组

    来源 腾讯网
  6. 京东物流升级半导体仓储:AI如何打通物理与数字闭环?

    11月12日,由中国电子信息产业发展研究院、中国半导体行业协会共同主办的第二十三届中国国际半导体博览会(IC China 2026)在北京国家会议中心开幕,同期举办第八届IC企业家大会(以下简称“企业家大会”)。京东物流相关负责人陈佳在企业家大会上发表主题演讲时表示,京东物流正以AI技术和机器人产品服务半导体产业链,为

    来源 腾讯网
  7. Edera推对象能力权限模型:AI智能体与凭证隔离成看点

    Edera 推出了对象能力受限权限模型,承诺保护自主 AI 智能体工作负载的安全,使自主 AI 工作负载和模型上下文协议(MCP)服务器与敏感凭证隔离。该技术由 Edera 联合创始人、杰出工程师 Ariadne Conill 牵头。她因对底层开源安全技术的贡献而知名。该技术通过直接在虚拟机监控器层实施细粒度的对象能力

    来源 AI 行业观察
  8. 苹果手表加录音功能,AI录音硬件还剩半年窗口

    苹果在Apple Watch中加入全天对话回顾功能,标志着AI录音硬件的核心价值正被手机厂商侵蚀。录音与转写不再构成护城河,真正稀缺的是筛选后的上下文和Agent入口。在手机厂商整合系统级全天记忆之前,独立硬件公司只剩约半年时间窗口。本文分析了这一趋势背后的技术逻辑、市场格局变化以及未来个人AI入口的竞争态势。

    来源 AI 应用前沿
  9. Fractile融资7亿美元:目标把AI推理速度提到100倍

    AI的推理计算将在未来几年内成为AI最重要的计算需求,已经逐渐成为共识。 推理计算,拆解开来有两个重要维度,成本和时间。 其中提升推理速度带来的好处,在AI逐渐Agent化的时代,重要性凸显。 具体来说,在相同成本下提升推理速度,能让那些耗时长、推理强度高的Agent任务在更短时间内完成,从而提高整个系统的效率。 Fr

    来源 AI 行业观察
  10. SpaceX星舰第15次试飞升空:双回收未全达成,飞船返航待验证

    【TechWeb】11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰”(Starship)第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。 但任务并未完全按

    来源 AI 行业观察
  11. 星舰第15飞:B22助推器返场未果,S42将试塔捕?

    11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰” 第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。但任务并未完全按计划推进。助推器未能按计划返回发射场,

    来源 TechWeb
  12. 星舰第15次试飞:B22与S42首演双回收未成,墨西哥湾落幕

    11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰” 第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。但任务并未完全按计划推进。助推器未能按计划返回发射场,

    来源 TechWeb
  13. Gemini 4 Hydrogen提速2.5倍:AI从聊天转向干活

    Google发布Gemini 4 Hydrogen,主打日常智能体与编码,速度提升2.5倍;LangChain完成3亿美元C轮融资,推出全生命周期平台LangSmith。安全领域警示AI将网络攻击准备时间压缩至20分钟。此外,Google Wallet接入Gemini提供财务分析,DeepMind发布AlphaGeno

    来源 AI 应用前沿
  14. OpenAI再撤机器人团队:通用模型够用了,中国厂商还在押注“小脑”

    11 月 13 日,机器人学习大会 CoRL 在奥斯汀开幕。OpenAI 预订的 208 号展位空着。没有样机,没有海报,没有人站在那里回答问题。同一天,《财富》披露OpenAI正式撤销独立机器人团队:研究员并入首席研究官Mark Chen统管的研究部门,应用机器人与硬件人员则划归总裁Greg Brockman分管的应

    来源 腾讯网
  15. 北大与微信安全团队发布智能体安全综述:从生命周期看风险如何传播

    当大语言模型从传统聊天助手走向通用智能体,安全问题正在发生一次根本性的变化。过去,我们更关心模型「会说什么」:它是否生成有害内容,是否泄露敏感信息,是否会被越狱提示绕过。但今天的智能体已经能够自主选择技能、调用工具、读写文件、访问数据库、操作网页和终端,甚至把一次任务中的经验写入长期记忆,用于影响下一次决策。这意味着,

    来源 腾讯网
  16. 黄仁勋离任引不满:英伟达机器人工程师辞职

    【TechWeb】11月16日消息,英伟达机器人工程师Darrell Dai(戴达瑞)已通过个人X账号宣布辞职。他在帖子中解释,离职的核心原因是对公司前CEO黄仁勋(Jensen Huang)的离任方式感到失望,认为公司在此事上缺乏透明度和

    来源 TechWeb
  17. 华为云上线openPangu-2.1-Pro:Agent、代码与推理效率同步升级

    【TechWeb】11月16日消息,据华为云官微消息,华为云MaaS模型即服务平台正式上线开源盘古模型openPangu-2.1-Pro。相比上一代,新模型在Agent能力、代码能力和推理效率三个方向上做了系统性升级,在深度研究、鸿蒙系统操控、鸿蒙APP开发、昇腾算子生成及推理链路优化等场景实现增强。 Agent能力的

    来源 AI 行业观察
  18. 华为云上线盘古2.1-Pro:Agent、代码、推理效率升级

    据华为云官微消息,华为云MaaS模型即服务平台正式上线开源盘古模型openPangu-2.1-Pro。相比上一代,新模型在Agent能力、代码能力和推理效率三个方向上做了系统性升级,在深度研究、鸿蒙系统操控、鸿蒙APP开发、昇腾算子生成及推理链路优化等场景实现增强。

    来源 TechWeb
  19. 英伟达机器人学习工程师戴士钦宣布辞职:“黄仁勋离职让我格外失望”

    IT之家 11 月 16 日消息,英伟达机器人学习工程师戴士钦(Darrell Dai)昨日发文,宣布将离开公司。 戴士钦表示,他眼中的黄仁勋不只是英伟达 CEO,他钦佩黄仁勋投资那些一下子看不到明确前景的未来技术。在深度学习热潮到来之前,黄仁勋就已投入 CUDA,并在人工智能成为所有人关注焦点之前布局 AI 领域。这

    来源 AI 行业观察
  20. openEuler发布Agentic Infra操作系统:年底80% CVE由AI辅助处理

    人民财讯11月13日消息,Agentic Infra操作系统大会在11月13日召开,开放原子开源基金会孵化的明星社区openEuler在会上正式推出面向Agentic Infra的操作系统。按照openEuler社区的计划,到今年年底,80%的CVE将由AI辅助处理,社区服务Agent则要实现100%接入。

    来源 网易科技
向下滚动自动加载更多