AI转得动T恤的轮廓,却转不懂T恤的样子
你有没有想过,一个能写诗、能编程、能解答复杂数学题的AI,为什么连转个T恤都转不明白?这不是开玩笑。厦门大学的研究团队最近做了一件挺朴素但特别扎心的事:他们给市面上最强的几款AI模型(包括GPT、Gemini、Claude、Qwen这些你耳熟能详的名字)出了一道题,题目简单到小学生都能玩明白——给你看一件T恤的正面照片
你有没有想过,一个能写诗、能编程、能解答复杂数学题的AI,为什么连转个T恤都转不明白?
这不是开玩笑。厦门大学的研究团队最近做了一件挺朴素但特别扎心的事:他们给市面上最强的几款AI模型(包括
GPT、Gemini、Claude、Qwen这些你耳熟能详的名字)出了一道题,题目简单到小学生都能玩明白——给你看一件T恤的正面照片当目标,再给你一个被转歪了的同一件T恤的3D模型,你只需要通过旋转,把它转回到正面照片的角度就算赢。
结果呢?表现最好的GPT-5.6-Sol,100道题只答对了17道。而20个随便找来的大学生,同样的题目,每人做20道,四轮下来,400次全部成功,一次没错。
这个对比有点刺眼。我们习惯了AI在各种高难度测试上超越人类,比如解微积分题、写代码、做阅读理解,但在"转个物体对齐一下"这种人类婴儿时期就在练习的技能上,最先进的AI却输得一塌糊涂。这篇论文的名字叫RoTA-Bench,它想搞清楚的问题是:AI能不能把看到的2D画面,真正变成脑子里的3D理解,然后用这种理解去精确地行动?
答案目前看起来是:不太能。
### 这道题到底在考什么
先说清楚这道题的玩法。每个任务里有一个3D物体,这个物体一开始被随机转了个角度,看起来可能完全不像原来的样子。
AI每一步可以选择绕三个轴(俯仰、偏航、翻滚)中的一个,往正或负方向转一个角度,角度可以选1度、5度、10度或30度,一共24种可能的动作组合。每转一次,AI会看到物体转动后的新画面,然后决定下一步怎么转,直到转出的物体轮廓和目标轮廓重合度达到90%以上,才算成功。
**这个任务的巧妙之处在于,它把"看懂"和"做对"这两件事焊在了一起。**
投影IoU
静态的视觉问答题只需要AI说出"这个物体可能是从右边转过来的"就算拿分,但RoTA-Bench要求AI真的转一下给你看,转错了下一步还能看到反馈并纠正。这就像考驾照,笔试只需要你知道"倒车入库要打方向盘",但路考需要你真的把车倒进去,还得边看后视镜边修正。如果只考笔试,很多人理论满分却上路就撞墙,RoTA-Bench做的就是那个"路考"。
### 为什么选T恤图标而不是椅子汽车
论文里有个设计细节特别值得说道:这些3D物体不是从常见的3D模型库里拿的现成椅子、汽车、水杯,而是研究团队自己从
具体做法是,把一个2D图标的轮廓点集,沿着深度方向往两边拉伸,拉伸的边界被限制在一个球形空间里,这样保证不管怎么转,物体都不会跑出画面。这样做出来的3D物体看起来有点怪,带着明显的图标痕迹,不是我们日常生活中见过的真实物品。
这个设计选择背后有个很实际的考虑:如果用常见物体比如椅子,AI很可能不是靠"理解3D旋转"答对题目的,而是靠"我见过无数张椅子的照片,凭记忆猜一个大概角度"蒙对的。
就像你闭着眼睛也能说出一枚硬币翻过来是什么图案,因为你见过太多次硬币了,这不代表你真的理解了"翻转"这个物理动作,你只是记住了答案。用陌生的抽象形状,就是为了把这种"背答案"的可能性堵死,逼着AI真刀真枪地做空间推理。
有意思的是,论文附录里做了个对照实验:把同样结构的任务换成30个来自真实世界物体类别的3D网格(比如常见家具的模型),GPT-5.6-Sol的表现立刻从16.7%的成功率涨到20%,平均IoU从0.5656跳到0.7179。这个差距说明,AI在面对"眼熟"的物体时,确实在某种程度上偷了懒,靠着预训练时见过的相似形状蒙对了一部分,而不是纯粹依靠空间推理能力。
### 可解性是怎么被"焊死"的
另一个让人拍案叫绝的设计是任务的可解性保证。
研究团队没有随便生成一个起始姿态就指望AI能转回去,而是反过来操作:先确定目标姿态(也就是图标的正面视角),然后用一串"可逆"的30度旋转,把物体转到一个随机但确定能转回去的初始位置。
**这意味着每一道题,理论上都存在一条明确可行的解题路径,不存在"无解题"混进题库的情况。**
这就像出数学题时,老师不是先随便写个方程再去解它是否有解,而是先写好一个漂亮的答案,再倒推出题目,这样保证每道题都有解,而且出题人自己清楚正确答案长什么样。如果不这样做,AI答错了你根本分不清是AI笨还是题目本身就是个死局,这篇论文的严谨性很大程度上建立在这个"反向生成"的机制上。
研究团队还专门做了搜索,找到比这个反向生成路径更短的"参考路径"(用的是一种叫
### AI到底差在哪两件事上
论文把每一次旋转动作拆解成两个独立的维度来分析:方向选得对不对,角度选得准不准。
这个拆解挺聪明的,它相当于把"往哪边开"和"开多快"分开评分。
**数据显示,人类选对有效方向的比例是83.91%,GPT-5.6-Sol只有58.75%,只比随机乱选(53.78%)好一点点。**
更扎心的是角度选择:在方向选对的前提下,人类选择的角度和理论最优角度平均只差2.99度,而GPT-5.6-Sol差了6.49度,误差是人类的两倍多。
这组数据拼起来,说明AI不是在某一个环节上掉链子,而是方向判断和幅度拿捏这两件事都没做好。打个比方,这就像一个人想把门推开,他既搞不清门应该往左推还是往右推,这是方向问题,推对了方向后,又不知道该用多大力气,这是幅度问题。如果只有方向问题,至少多试几次总能蒙对;但两个问题叠在一起,试错的代价就呈几何级数增长,这也是为什么AI平均要花23到25步才能(大概率还是)失败收场,而人类16步左右就稳稳成功。
### 图像对齐和真实姿态为什么会打架
这篇论文最反直觉的一个发现,藏在第52页附近的一组对比数据里。
研究团队找出了211个人类和AI恰好走到同一个物体姿态的"同款状态",然后比较接下来这一步,人类和AI分别会怎么做。
结果发现,人类执行了33.18%的"
**这说明AI更容易被眼前看到的画面"骗",而人类更愿意相信自己脑子里对空间关系的判断,哪怕暂时看起来没有进展。**
这个现象让我想起开车找停车位的场景。如果你盯着后视镜里车身和车位线的相对位置来判断,这就像盯着投影轮廓,你很容易因为一时的视觉错觉而打错方向盘,因为后视镜里的"看起来对齐了"不一定代表车真的停正了。但一个经验丰富的老司机,脑子里会有一个关于车身实际空间位置的模型,这就像人类脑子里的3D姿态判断,哪怕后视镜里暂时看起来车歪了,他也敢继续往自己判断的方向打方向盘,因为他相信自己对空间关系的理解比眼前这一帧画面更可靠。如果AI没有这种"心里有谱"的空间模型,它就只能被每一帧画面牵着鼻子走,容易在局部最优解里打转而走不出来。
论文还专门算了一个相关系数来验证这个猜想:人类选择的旋转角度,同时和画面重叠度(相关系数-0.696)、真实姿态误差(相关系数0.751)都有很强的关联,而GPT-5.6-Sol明显更依赖画面重叠度(-0.536),对姿态误差的关联弱得多(0.368)。
### 拿掉记忆会发生什么
论文做了个釜底抽薪式的
结果让人挺意外:拿掉
更细节的变化出现在角度选择的分布上。有完整历史记录时,AI选30度大转弯的比例是62.75%,选1度精细微调的比例是12.18%。拿掉历史记录之后,30度大转弯飙升到96.76%,而1度微调几乎消失,只剩0.16%。
**这说明历史信息对AI来说,最大的作用不是帮它判断"该往哪转",而是帮它判断"该转多猛"。**
这个发现挺有画面感的。想象你在拧一个生锈的螺丝,一开始你用力猛拧几圈,螺丝松动了,这对应着30度的大幅转动,但越拧到最后,你越得放慢力道,改用小幅度的精细调整,否则很容易拧过头甚至滑丝。而这个"什么时候该从猛拧切换到轻拧"的判断,靠的不是你当下这一眼看到的螺丝长什么样,而是你记得自己前面已经拧了几圈、费了多大力气。如果你每次拧螺丝都失忆,忘了自己之前拧过多少,你大概率会一直用最初的那股蛮力拧到底,直到把螺丝拧滑丝。AI失去历史记录后表现出的,正是这种"一直用蛮力"的状态。
### 表现一览
论文给出了一张完整的榜单,把9个大模型、2种智能体框架、人类表现和几个基线方法放在了一起对比。
| 方法 | 成功率 | 最终IoU |
|---|---|---|
|
| 人类 | **100.0%** | 0.923 |
|
|
| GPT-5.6-Sol | 17.0% | 0.598 |
|
Gemini 3.6 Flash | 10.0% | 0.607 |
| GPT-6-Astra | 10.0% | 0.578 |
| GPT-5.6-Terra | 8.0% | 0.554 |
| GPT-5.6-Luna | 4.0% | 0.553 |
|
| Qwen 3.7 Plus | 0.0% | 0.504 |
|
Claude Sonnet 5 | 0.0% | 0.492 |
| Claude Opus 5 | 0.0% | 0.484 |
|
这张表里有个细节特别值得停下来看看:那个"
这组对照几乎是这篇论文最硬核的证据:画面看起来对不对,和物体实际转没转对,根本不是一回事。而当前的AI模型,恰恰更擅长前者,拙于后者。
更离谱的是
### 写在后面
读完这篇论文,最让我意外的不是AI考砸了,而是考砸的方式这么具体、这么可追溯。
通常我们说"AI缺乏常识"或者"AI不懂物理世界",这种话说了等于没说,太空泛了。但这篇论文把问题拆到了"方向选错多少次"和"角度差了几度"这种颗粒度,甚至拆到了"是因为依赖画面还是依赖空间判断"这种认知机制层面。这种拆解方式本身就是一种研究范式上的启发:与其笼统地说AI不行,不如像医生问诊一样,一项一项地做鉴别诊断。
另一个让我反复琢磨的细节,是那个"同款状态"对比实验。人类和AI站在完全相同的起点上,接下来走的路却系统性地不一样,人类更愿意为了长远的空间正确性牺牲眼前的视觉相似度,AI恰恰相反。这让我想到一个更大的问题:我们现在训练AI的方式,是不是天然地在鼓励这种"讨好眼前反馈"的倾向?毕竟大部分训练信号来自对当前画面的直接评判,而不是对一个看不见的、更抽象的空间状态的追踪。如果真是这样,那这个问题恐怕不是靠堆数据或者换个更大的模型就能解决的,它可能需要在训练目标的设计上动刀子。
这篇论文的作者们也挺坦诚,他们在论文里承认,这些3D物体目前还是从有限的2D图标库生成的,形状多样性有限,没法代表真实世界里复杂得多的几何结构。接下来会不会有人用生成模型造出更丰富的形状,把这个测试继续做深,我挺想知道答案。
Q&A
Q1:RoTA-Bench是什么?
A:RoTA-Bench是厦门大学团队提出的一个评测基准,用来测试AI模型能不能把看到的2D图像转化成真正的3D空间理解。做法是让AI通过一步步旋转3D物体,把它转到和目标图片轮廓一致的姿态,一共674道任务,其中100道作为正式测试集。
Q2:为什么AI在这个旋转对齐任务上表现这么差?
A:论文发现AI在两件事上都没做好:一是判断该往哪个方向转,有效方向选择率只有58.75%,比人类83.91%低了25个百分点;二是判断该转多大角度,角度误差是人类的两倍多。此外AI更依赖当前画面看起来像不像,而不是真实的空间姿态,容易被视觉表象误导。
Q3:拿掉AI的交互历史记录会发生什么?
A:AI的任务成功率会直接从16.67%跌到0%,几乎等同于随机瞎转。更明显的变化是AI选择30度大幅度转动的比例从62.75%飙升到96.76%,1度精细微调几乎消失,说明历史记录主要帮AI判断该转多大幅度,而不是该往哪个方向转。