AI转得动T恤的轮廓,却转不懂T恤的样子

资讯 腾讯网 作者:科技行者 全文 4751 字 · 约 12 分钟读完 配图 3 张 分类ClaudeGeminiQwenGPTAnthropicGoogle

你有没有想过,一个能写诗、能编程、能解答复杂数学题的AI,为什么连转个T恤都转不明白?这不是开玩笑。厦门大学的研究团队最近做了一件挺朴素但特别扎心的事:他们给市面上最强的几款AI模型(包括GPT、Gemini、Claude、Qwen这些你耳熟能详的名字)出了一道题,题目简单到小学生都能玩明白——给你看一件T恤的正面照片

所属频道 大厂动态ChatGPT 与 GPTClaude 与 AnthropicGemini 与 Google AI开源生态

你有没有想过,一个能写诗、能编程、能解答复杂数学题的AI,为什么连转个T恤都转不明白?

这不是开玩笑。厦门大学的研究团队最近做了一件挺朴素但特别扎心的事:他们给市面上最强的几款AI模型(包括GPT、Gemini、Claude、Qwen这些你耳熟能详的名字)出了一道题,题目简单到小学生都能玩明白——给你看一件T恤的正面照片当目标,再给你一个被转歪了的同一件T恤的3D模型,你只需要通过旋转,把它转回到正面照片的角度就算赢。

结果呢?表现最好的GPT-5.6-Sol,100道题只答对了17道。而20个随便找来的大学生,同样的题目,每人做20道,四轮下来,400次全部成功,一次没错。

这个对比有点刺眼。我们习惯了AI在各种高难度测试上超越人类,比如解微积分题、写代码、做阅读理解,但在"转个物体对齐一下"这种人类婴儿时期就在练习的技能上,最先进的AI却输得一塌糊涂。这篇论文的名字叫RoTA-Bench,它想搞清楚的问题是:AI能不能把看到的2D画面,真正变成脑子里的3D理解,然后用这种理解去精确地行动?

答案目前看起来是:不太能。

### 这道题到底在考什么

先说清楚这道题的玩法。每个任务里有一个3D物体,这个物体一开始被随机转了个角度,看起来可能完全不像原来的样子。

AI每一步可以选择绕三个轴(俯仰、偏航、翻滚)中的一个,往正或负方向转一个角度,角度可以选1度、5度、10度或30度,一共24种可能的动作组合。每转一次,AI会看到物体转动后的新画面,然后决定下一步怎么转,直到转出的物体轮廓和目标轮廓重合度达到90%以上,才算成功。

**这个任务的巧妙之处在于,它把"看懂"和"做对"这两件事焊在了一起。**

投影IoU

静态的视觉问答题只需要AI说出"这个物体可能是从右边转过来的"就算拿分,但RoTA-Bench要求AI真的转一下给你看,转错了下一步还能看到反馈并纠正。这就像考驾照,笔试只需要你知道"倒车入库要打方向盘",但路考需要你真的把车倒进去,还得边看后视镜边修正。如果只考笔试,很多人理论满分却上路就撞墙,RoTA-Bench做的就是那个"路考"。

### 为什么选T恤图标而不是椅子汽车

论文里有个设计细节特别值得说道:这些3D物体不是从常见的3D模型库里拿的现成椅子、汽车、水杯,而是研究团队自己从

具体做法是,把一个2D图标的轮廓点集,沿着深度方向往两边拉伸,拉伸的边界被限制在一个球形空间里,这样保证不管怎么转,物体都不会跑出画面。这样做出来的3D物体看起来有点怪,带着明显的图标痕迹,不是我们日常生活中见过的真实物品。

这个设计选择背后有个很实际的考虑:如果用常见物体比如椅子,AI很可能不是靠"理解3D旋转"答对题目的,而是靠"我见过无数张椅子的照片,凭记忆猜一个大概角度"蒙对的。

就像你闭着眼睛也能说出一枚硬币翻过来是什么图案,因为你见过太多次硬币了,这不代表你真的理解了"翻转"这个物理动作,你只是记住了答案。用陌生的抽象形状,就是为了把这种"背答案"的可能性堵死,逼着AI真刀真枪地做空间推理。

有意思的是,论文附录里做了个对照实验:把同样结构的任务换成30个来自真实世界物体类别的3D网格(比如常见家具的模型),GPT-5.6-Sol的表现立刻从16.7%的成功率涨到20%,平均IoU从0.5656跳到0.7179。这个差距说明,AI在面对"眼熟"的物体时,确实在某种程度上偷了懒,靠着预训练时见过的相似形状蒙对了一部分,而不是纯粹依靠空间推理能力。

### 可解性是怎么被"焊死"的

另一个让人拍案叫绝的设计是任务的可解性保证。

研究团队没有随便生成一个起始姿态就指望AI能转回去,而是反过来操作:先确定目标姿态(也就是图标的正面视角),然后用一串"可逆"的30度旋转,把物体转到一个随机但确定能转回去的初始位置。

**这意味着每一道题,理论上都存在一条明确可行的解题路径,不存在"无解题"混进题库的情况。**

这就像出数学题时,老师不是先随便写个方程再去解它是否有解,而是先写好一个漂亮的答案,再倒推出题目,这样保证每道题都有解,而且出题人自己清楚正确答案长什么样。如果不这样做,AI答错了你根本分不清是AI笨还是题目本身就是个死局,这篇论文的严谨性很大程度上建立在这个"反向生成"的机制上。

研究团队还专门做了搜索,找到比这个反向生成路径更短的"参考路径"(用的是一种叫

### AI到底差在哪两件事上

论文把每一次旋转动作拆解成两个独立的维度来分析:方向选得对不对,角度选得准不准。

这个拆解挺聪明的,它相当于把"往哪边开"和"开多快"分开评分。

**数据显示,人类选对有效方向的比例是83.91%,GPT-5.6-Sol只有58.75%,只比随机乱选(53.78%)好一点点。**

更扎心的是角度选择:在方向选对的前提下,人类选择的角度和理论最优角度平均只差2.99度,而GPT-5.6-Sol差了6.49度,误差是人类的两倍多。

这组数据拼起来,说明AI不是在某一个环节上掉链子,而是方向判断和幅度拿捏这两件事都没做好。打个比方,这就像一个人想把门推开,他既搞不清门应该往左推还是往右推,这是方向问题,推对了方向后,又不知道该用多大力气,这是幅度问题。如果只有方向问题,至少多试几次总能蒙对;但两个问题叠在一起,试错的代价就呈几何级数增长,这也是为什么AI平均要花23到25步才能(大概率还是)失败收场,而人类16步左右就稳稳成功。

### 图像对齐和真实姿态为什么会打架

这篇论文最反直觉的一个发现,藏在第52页附近的一组对比数据里。

研究团队找出了211个人类和AI恰好走到同一个物体姿态的"同款状态",然后比较接下来这一步,人类和AI分别会怎么做。

结果发现,人类执行了33.18%的"

**这说明AI更容易被眼前看到的画面"骗",而人类更愿意相信自己脑子里对空间关系的判断,哪怕暂时看起来没有进展。**

这个现象让我想起开车找停车位的场景。如果你盯着后视镜里车身和车位线的相对位置来判断,这就像盯着投影轮廓,你很容易因为一时的视觉错觉而打错方向盘,因为后视镜里的"看起来对齐了"不一定代表车真的停正了。但一个经验丰富的老司机,脑子里会有一个关于车身实际空间位置的模型,这就像人类脑子里的3D姿态判断,哪怕后视镜里暂时看起来车歪了,他也敢继续往自己判断的方向打方向盘,因为他相信自己对空间关系的理解比眼前这一帧画面更可靠。如果AI没有这种"心里有谱"的空间模型,它就只能被每一帧画面牵着鼻子走,容易在局部最优解里打转而走不出来。

论文还专门算了一个相关系数来验证这个猜想:人类选择的旋转角度,同时和画面重叠度(相关系数-0.696)、真实姿态误差(相关系数0.751)都有很强的关联,而GPT-5.6-Sol明显更依赖画面重叠度(-0.536),对姿态误差的关联弱得多(0.368)。

### 拿掉记忆会发生什么

论文做了个釜底抽薪式的

结果让人挺意外:拿掉

更细节的变化出现在角度选择的分布上。有完整历史记录时,AI选30度大转弯的比例是62.75%,选1度精细微调的比例是12.18%。拿掉历史记录之后,30度大转弯飙升到96.76%,而1度微调几乎消失,只剩0.16%。

**这说明历史信息对AI来说,最大的作用不是帮它判断"该往哪转",而是帮它判断"该转多猛"。**

这个发现挺有画面感的。想象你在拧一个生锈的螺丝,一开始你用力猛拧几圈,螺丝松动了,这对应着30度的大幅转动,但越拧到最后,你越得放慢力道,改用小幅度的精细调整,否则很容易拧过头甚至滑丝。而这个"什么时候该从猛拧切换到轻拧"的判断,靠的不是你当下这一眼看到的螺丝长什么样,而是你记得自己前面已经拧了几圈、费了多大力气。如果你每次拧螺丝都失忆,忘了自己之前拧过多少,你大概率会一直用最初的那股蛮力拧到底,直到把螺丝拧滑丝。AI失去历史记录后表现出的,正是这种"一直用蛮力"的状态。

### 表现一览

论文给出了一张完整的榜单,把9个大模型、2种智能体框架、人类表现和几个基线方法放在了一起对比。

| 方法 | 成功率 | 最终IoU |

|---|---|---|

|

| 人类 | **100.0%** | 0.923 |

|

|

| GPT-5.6-Sol | 17.0% | 0.598 |

| Gemini 3.6 Flash | 10.0% | 0.607 |

| GPT-6-Astra | 10.0% | 0.578 |

| GPT-5.6-Terra | 8.0% | 0.554 |

| GPT-5.6-Luna | 4.0% | 0.553 |

|

| Qwen 3.7 Plus | 0.0% | 0.504 |

| Claude Sonnet 5 | 0.0% | 0.492 |

| Claude Opus 5 | 0.0% | 0.484 |

|

这张表里有个细节特别值得停下来看看:那个"

这组对照几乎是这篇论文最硬核的证据:画面看起来对不对,和物体实际转没转对,根本不是一回事。而当前的AI模型,恰恰更擅长前者,拙于后者。

更离谱的是

### 写在后面

读完这篇论文,最让我意外的不是AI考砸了,而是考砸的方式这么具体、这么可追溯。

通常我们说"AI缺乏常识"或者"AI不懂物理世界",这种话说了等于没说,太空泛了。但这篇论文把问题拆到了"方向选错多少次"和"角度差了几度"这种颗粒度,甚至拆到了"是因为依赖画面还是依赖空间判断"这种认知机制层面。这种拆解方式本身就是一种研究范式上的启发:与其笼统地说AI不行,不如像医生问诊一样,一项一项地做鉴别诊断。

另一个让我反复琢磨的细节,是那个"同款状态"对比实验。人类和AI站在完全相同的起点上,接下来走的路却系统性地不一样,人类更愿意为了长远的空间正确性牺牲眼前的视觉相似度,AI恰恰相反。这让我想到一个更大的问题:我们现在训练AI的方式,是不是天然地在鼓励这种"讨好眼前反馈"的倾向?毕竟大部分训练信号来自对当前画面的直接评判,而不是对一个看不见的、更抽象的空间状态的追踪。如果真是这样,那这个问题恐怕不是靠堆数据或者换个更大的模型就能解决的,它可能需要在训练目标的设计上动刀子。

这篇论文的作者们也挺坦诚,他们在论文里承认,这些3D物体目前还是从有限的2D图标库生成的,形状多样性有限,没法代表真实世界里复杂得多的几何结构。接下来会不会有人用生成模型造出更丰富的形状,把这个测试继续做深,我挺想知道答案。

Q&A

Q1:RoTA-Bench是什么?

A:RoTA-Bench是厦门大学团队提出的一个评测基准,用来测试AI模型能不能把看到的2D图像转化成真正的3D空间理解。做法是让AI通过一步步旋转3D物体,把它转到和目标图片轮廓一致的姿态,一共674道任务,其中100道作为正式测试集。

Q2:为什么AI在这个旋转对齐任务上表现这么差?

A:论文发现AI在两件事上都没做好:一是判断该往哪个方向转,有效方向选择率只有58.75%,比人类83.91%低了25个百分点;二是判断该转多大角度,角度误差是人类的两倍多。此外AI更依赖当前画面看起来像不像,而不是真实的空间姿态,容易被视觉表象误导。

Q3:拿掉AI的交互历史记录会发生什么?

A:AI的任务成功率会直接从16.67%跌到0%,几乎等同于随机瞎转。更明显的变化是AI选择30度大幅度转动的比例从62.75%飙升到96.76%,1度精细微调几乎消失,说明历史记录主要帮AI判断该转多大幅度,而不是该往哪个方向转。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Qwen4-Max、GPT-6接连提升3D能力,大模型正走向物理世界?

    每经记者:叶晓丹 每经编辑:魏官红11月16日,阿里发布全新一代基座大模型Qwen4-Max,具备原生视觉能力,支持百万上下文。11月10日,Anthropic也已正式发布Claude Fable 5.2。值得注意的是,两款大模型除了强调上下文、智能体、编程等能力进化外,3D能力提升明显。实际上,今年9月,OpenAI

    来源 腾讯网
  2. 谷歌Gemini 4逆袭!国产AI没有上榜

    最新的 Agent Arena 榜单中,被大家戏称北美 “豆包” 的 Gemini 算是翻身了,直接跑赢了 GPT!两个模型Gemini 4 neo 和 Gemini 4 carbon都压着GPT打,算是出了口恶气。不少朋友可能不清楚这个榜单到底测什么,它不比AI聊天问答好不好玩,而是比AI 智能体的实战干活能力:比如

    来源 腾讯网
  3. OpenAI发布GPT-6.2 Astra与Sol:同任务成本仅Claude Fable 5.2约5%

    就在 Anthropic 敲钟上市的同一天,OpenAI 端出了它的“贺礼”。 11 月 18 日凌晨消息,OpenAI 正式发布 GPT-6.2 Astra 和 GPT-6.2 Sol 两款新模型:在复杂专业任务上,GPT-6.2 Astra 的得分超过 Claude Fable 5.2,而单任务成本只有后者的约 5

    来源 AI 行业观察
  4. 让大语言模型学会把方向盘交出去

    你有没有想过,一个客服机器人在接到"帮我取消订单"这种请求时,脑子里到底在发生什么?它要先查这个客户是谁,再查订单状态,然后决定是直接取消还是该先问一句"您确定吗"。这一整套流程,看起来简单,但背后每一步都要调用一次大语言模型,也就是那个又贵又慢的AI大脑。**大语言模型*:指像GPT、Gemini这样参数规模巨大、.

    来源 腾讯网
  5. Qwen 4 Max与Claude 5.2密集升级,Agent向商家支付场景延伸

    本文转载自微信公众号:中信建投证券研究文|于伯韬旗舰模型与Agent产品持续升级,继续看好兼具模型、云资源和应用入口的头部平台。Qwen 4 Max与Claude 5.2强化编程、专业工具和长任务能力,谷歌补充企业推理系统,OpenAI推出商家服务与授权支付,AI应用正向具体业务操作扩展。11月9日至15日,OpenR

    来源 腾讯网
  6. 刚刚,Gemini 4 Neon 突袭发布,性价比一夜斩杀 Opus 5.5

    谷歌发布 Gemini 4 Neon,主攻软件工程、知识工作与科学推理,提供百万上下文窗口,每百万输入、输出 Token 分别为 3 美元和 15 美元。新模型发布当天上线 Gemini App、AI Studio 和企业端 API,文章对比了其与 Claude Opus 5.5 等模型的表现。

    来源 爱范儿
  7. 微软推出Decision-1.1决策模型:跑赢GPT-6 Luna,速度翻倍

    IT之家 11 月 18 日消息,微软昨日(11 月 17 日)宣布正式推出 Microsoft-Decision-1.1 决策 AI 模型,目前已在 Microsoft Foundry、OpenRouter 和 Vercel 平台上线。 该模型面向企业级软件中的高频决策场景,可帮助应用在路由、分类、优先级排序、内容核

    来源 AI 行业观察
  8. Anthropic上市在即,亚马逊谷歌将合计持股近30%

    Anthropic完成IPO后,亚马逊将持有其略低于15%的股份,并保留大幅增持的选项;谷歌以近14%的持股紧随其后。两大云计算巨头合计持股接近30%,成为这家Claude开发商上市后最重要的战略股东,也引发外界对AI模型层与云基础设施深度绑定的关注。

    来源 AI 科技快讯
  9. 谷歌Gemini Tasks扩大开放:AI可代打电话、登录网站并下单

    谷歌宣布扩大Gemini Tasks的访问权限,该功能可协调通话、代用户登录网站甚至完成购物。这标志着AI助手从信息查询向任务执行迈出关键一步,但也引发隐私与安全担忧。本文详解Gemini Tasks的功能、行业竞争背景及未来影响。

    来源 AI 科技快讯
  10. 中信建投:旗舰模型加快迭代,Agent商业场景扩展

    36氪获悉,中信建投研报称,旗舰模型与Agent产品持续升级,继续看好兼具模型、云资源和应用入口的头部平台。Qwen 4 Max与Claude 5.2强化编程、专业工具和长任务能力,谷歌补充企业推理系统,OpenAI推出商家服务与授权支付,AI应用正向具体业务操作扩展。11月9日至15日,OpenRouter调用量环比

    来源 AI 行业观察
  11. Gemini 4 Neon 上线,NVIDIA 并行生成打破逐字解码

    Google 推出 Gemini 4 Neon,主打推理与任务执行,已接入 App 和 Tasks。NVIDIA 发布 Nemotron-Sigma,尝试并行块生成以加速代码和数学解题。Hugging Face 分享了 27B 模型后训练效率优化及微调耗时超预期的技术原因。LMArena 数据显示 GPT-6.2 As

    来源 AI 应用前沿
  12. 谷歌PageBreak:AI安全代理已挖出500多个XSS漏洞,误报率接近零

    根据谷歌发表的一篇论文,其人工智能驱动的安全代理自今年 1 月全面投入运行以来,已在旗下各类 Web 应用中发现了 500 多个 XSS 漏洞。Google PageBreak 利用 Gemini 模型自主调查潜在漏洞,但仅在确定性验证器在运行中的应用程序上成功复现该漏洞时才会上报,因此误报率几乎为零。 借助 Page

    来源 AI 行业观察
  13. Exa年化收入破1亿美元,Vercel收购Traces,Agent基建竞争升温

    2026年末的AI圈不再只盯着模型参数,而是转向了更务实的基础设施。Exa凭借Agent搜索需求实现年化收入1亿美元,Vercel收购Traces试图定义新的软件原语,Google Cloud则指出算力瓶颈已转移至数据I/O。与此同时,国内大厂开始主动限制模型的攻击能力,Claude Code团队公开了高比例AI生成代

    来源 AI 应用前沿
  14. 谷歌Gemini Tasks大扩张:AI帮你打电话、购物、登录网站

    谷歌宣布扩大Gemini Tasks的访问权限,该功能可协调通话、代用户登录网站甚至完成购物。这标志着AI助手从信息查询向任务执行迈出关键一步,但也引发隐私与安全担忧。本文详解Gemini Tasks的功能、行业竞争背景及未来影响。

    来源 AI 行业观察
  15. Snapchat发布Easy Lens CLI,支持Claude Code与Cursor等AI助手构建AR滤镜

    11月18日,Snapchat推出Easy Lens CLI,允许AR滤镜创作者直接调用Claude Code、Cursor、Codex等AI编码助手构建核心Lens,降低创作门槛并融入开发者工作流。该工具由Easy Lens演进而来,支持Mac、Windows、Linux;创作者用自然语言描述需求,AI即可完成全链路

    来源 AI 产业速递
  16. 谷歌搜索AI模式上线临时线程:可无痕私密搜索

    11月18日,谷歌在全球桌面及移动端浏览器的搜索AI模式中推出“临时线程”功能。用户可发起私密、非个性化即时搜索,查询记录不留存于个人历史,也不干扰后续算法推荐。该功能借鉴Gemini临时聊天机制,无需修改账户隐私设置,点击AI模式右上角临时对话图标即可开启,关闭后内容即从界面清除。

    来源 AI 产业速递
  17. OpenAI发布GPT-6.2双版本:3D设计亮眼,实测体验两极

    千呼万唤之中,OpenAI 终于把 GPT-6.2 推到了台前,一口气推出两个版本:GPT-6.2 Astra 和 GPT-6.2 Sol。有意思的是,OpenAI 这次又赶在了一个微妙的时间点出牌。眼下,Anthropic 上市的消息仍在持续发酵,AI 行业的竞争也愈发激烈。OpenAI 偏偏选在此时发布新一代模型,

    来源 腾讯网
  18. “最优秀的开发者,正在被AI慢慢耗尽……”每天审查15个PR、硬啃2万行AI代码,资深工程师被逼成「质检员」,有人干脆辞职

    AI 编程工具越来越强,程序员却好像越来越不开心了。 以前,工程师最头疼的事情可能是赶项目、修 Bug、熬夜上线。现在,Claude Code、GitHub Copilot 等 AI 工具已经能帮他们生成大量代码,甚至接手过去需要几天才能完成的开发任务。 按理说,程序员应该轻松不少才对。 但现实却有些反常:一些经验丰富

    来源 AI 行业观察
向下滚动自动加载更多