Act3D让AI自己决定往哪看:准确率53.2%,超Gemini 3.6 Flash

资讯 腾讯网 作者:科技行者 全文 6837 字 · 约 18 分钟读完 分类游戏

你有没有玩过那种蒙眼找东西的游戏?别人把你领进一个陌生房间,摘下眼罩的一瞬间,你只能看到眼前这一小块。想知道房间角落有什么,答案很简单:你得转头,你得走过去看。现在想象一下,如果有个助手能帮你回答"房间尽头是什么"这种问题,但它从来没有机会转头,也没有机会走近看,它只能靠你给它的那一张照片来猜。这听起...

所属频道 影视与游戏

蒙眼找东西的游戏,你玩过吗?被人领进一间陌生屋子,眼罩一摘,眼前只有巴掌大的一块地方。想知道角落放着什么,办法只有一个:转头,迈步,亲自过去瞧。

换个场景想:假如有个助手能替你回答“房间尽头是什么”,可它从没机会转头,也没机会走近,只能凭你递过去的那一张照片去猜。听着离谱,过去不少3D视觉语言模型恰恰就是这么干的。

**先说现状:多数研究喂给AI的是“全套资料”**

以往做3D场景理解的模型,路子基本一致:整个3D扫描结果、完整点云数据,或者一整段多视角视频,统统塞进模型。模型只需在这些材料里翻找答案,不用去“看”,该看的东西早被摆到眼前了。

好比考前老师把整本教材划好重点发下来,你只管照单找答案。现实里没这种好事。你走进一间房,想知道走廊尽头有什么,没人会提前把尽头的照片塞进你手里,得自己走过去看。

**视觉语言模型*:Vision-Language Model,简称VLM,是一类能同时理解图像和文字、并进行推理问答的AI模型。**

研究团队盯上的核心问题正在这里:能不能让模型自己决定往哪儿看、往哪儿走,然后再作答?这套系统被命名为Act3D。

难在哪儿?三个字:没人教

要让AI学会主动探索,最大的坎是没人能事先告诉它“该往哪走”。下棋、走迷宫好歹有明确的最优路径可模仿;在一间屋里找藏起来的东西,十条不同的路线都可能找到,哪条也不算“标准答案”。

研究团队给自己定的规矩相当苛刻:训练全程不告诉模型该去哪个角落、该转哪个方向,唯一的反馈就是最后答对还是答错。

**这像教孩子骑车,你却全程闭着眼,只有他到终点才说一句“这回骑对了”或“这回摔了”。中间歪歪扭扭,没人纠正,也没人示范怎么转弯。不这么干会怎样?那就成了老师手把手扶着车把,孩子永远学不会自己判断何时该打方向。研究团队赌的是:只靠结果反馈,模型也能慢慢摸出一套靠谱的探索策略。**

赌赢了。六个3D基准测试上,Act3D平均准确率53.2%,比基础模型Qwen高出22个百分点,甚至压过谷歌的商业模型Gemini 3.6 Flash。更关键的是,它只用了50%到70%更少的输入画面就拿到这个成绩。

把3D场景改造成能动手玩的游乐场

Act3D最根本的设计思路,是把3D场景从“一份资料”变成“一个环境”。

**模型每次只拿到一张图,跟人眼一样,看不到360度全景。它能做的是执行一个动作,比如前进一米,或右转90度,环境随即渲染出一张新图回应它。整个过程从固定起始视角出发,模型得反复思考、行动、观察,直到自认信息够了,才交出最终答案。**

设计听着简单,背后考量却不浅。为什么不直接喂视频或多视角照片?那样模型学到的是“在一堆现成素材里挑答案”,而非“怎样主动去获取信息”。两种能力,完全不是一回事。

**部分可观测马尔可夫决策过程*:Partially Observable Markov Decision Process,简称POMDP,是一种数学框架,描述的是智能体在只能看到部分环境信息的情况下,如何做决策的问题。**

研究团队把这套交互形式化成了POMDP。场景本身固定不动,模型看到的只是当前位置拍下的照片,它得靠这些局部观测推断整个场景长什么样,再决定下一步往哪走。

论文里有个很直观的例子:问题是“走廊尽头是什么”。模型第一眼看到桌子和窗帘,意识到这不是走廊,转身。第二次看到床,还不是。第三次往右移动,终于瞥见走廊和门的边缘。第四次离墙太近,画面糊了,退一步重新找角度。第五次,看清走廊尽头有一面带镜子的门,它答:“门”。

这像不像你在陌生城市找一家餐厅?不会杵在原地凭空猜,而是走两步看看路牌,方向不对就折回来,换个方向接着走,直到看清招牌。只靠一张起点照片猜餐厅在哪,基本等于瞎蒙。

动作空间怎么设计:为何选“相对移动”而非“绝对坐标”

这里有个技术细节值得展开,它体现了研究团队一个很聪明的取舍。

控制虚拟摄像机移动,有两条路。一条是“绝对坐标”,直接叫环境“把摄像机摆到空间里某个具体坐标点,朝向另一个坐标点”。另一条是“相对移动”,即“往前走一米”“向右转30度”这类基于当前位置的指令。

研究团队选了后者,实验也证明选对了:相对动作准确率41.4%,绝对坐标只有36.7%,差出将近5个百分点。

差距为何这么明显?绝对坐标要求模型理解一个根本看不见的全局坐标系,每个场景里这个坐标系的尺度还不一样。换个说法:把你扔进一座陌生城市,不给任何参照物,直接让你报出此刻的经纬度,谁能说得出来?改成“往前走100米,再右转”,哪怕你完全不知道自己在哪,也能照做。相对移动的好处就在这,它跟摄像机自身视角绑在一起,模型不用凭空去理解一套抽象的全局参照系统。

训练分两步走:先把走路学会,再琢磨往哪走

没人教模型怎么探索,那它一开始连“看图片、发指令、看新图片”这套交互协议都不明白,该怎么办?

研究团队的办法是两阶段训练。头一阶段叫轨迹监督微调,他们请GPT-5.4这个更强的模型生成示范轨迹,共5712条,覆盖830个场景、20603张渲染图片。这些轨迹不是要规定“必须这么走”,而是先让模型摸清游戏规则:看到图片后怎么表达思考、怎么调用移动指令、怎么收尾给出答案。

**这一阶段好比教孩子骑车前先让他坐上车,摸清脚踏板在哪、把手怎么转,平衡还谈不上。跳过这步直接上路会怎样?论文做了对比:完全不做第一阶段、直接上强化学习,训练80步后准确率只有34.8%到37.9%,模型平均每轮仅执行1次互动,说明它还没学会灵活移动。训练拉到470步,准确率也只到41.4%,互动次数升到2次。先做第一阶段预热再强化学习,互动次数能到8.7次,准确率也更高,为42.7%。**

第二阶段才是重头戏——强化学习。此时不再告诉模型“该怎么走”,只给一个奖励信号,反馈最后答对没有。研究团队用的算法是GRPO。

**群体相对策略优化(Group Relative Policy Optimization,简称GRPO)属于强化学习算法,核心思路是让模型对同一问题生成多条尝试路径,再比较各路径表现,表现相对更好的那条拿到更多学习权重。**

落到操作上,同一问题、同一张起始画面,模型会生成8条探索路径。每一步动作选得不一样,8条路径最终看到的画面也各不相同。研究团队逐一比对这8条路径谁答对、谁答错,相对更好的被加强,相对更差的被削弱。

这有点像公司里8个员工接同一个任务,各用各的办法去做,老板只看谁的方案效果好,再把好方案的做法推而广之。没人提前告诉这8个人“标准流程是什么”,可结果一比,好做法就慢慢浮出来了。

奖励函数的设计:只为“真看到了”的信息付钱

有个设计细节值得单独说,它反映出研究团队对“探索”的理解。

模型拿到的最终奖励分三块:答案对不对、有没有有效互动、输出格式合不合规范。听上去直白,互动奖励这一块却埋了个机关。

**要是单纯按“互动次数越多奖励越高”来设,模型多半会学出一招偷懒策略:多走几步反正有奖励,那就乱走,凑够步数拉倒,管它有没有找到有用信息。这就像公司规定“开会时间越长绩效越好”,员工很快学会开长会摸鱼,开会效率并不会真提高。**

研究团队的对策是加一道“接地验证”:答案最终判对,并且探索过程中确实有某一帧画面真拍到了问题里那个物体,模型才能拿到互动奖励的最高档;答案对了却从没真正“看到”那个物体,奖励就按实际互动步数算,且有上限。

论文原文把这层意思讲得很直接:“为证据付费,而不是为‘看起来在找’付费”。模型一旦真找到需要的那一帧,再多走也不多拿奖励。

实验数据:Act3D在哪些角度站得住

研究团队在六个基准数据集上做了系统评测:ScanQA、SQA3D、SPBench-SI、SPBench-MV、MP3D和ARKitScenes,任务类型从单房间问答一直覆盖到跨场景空间推理。

| 模型类别 | 代表模型 | 平均准确率 |

|---|---|---|

| 被动感知方法 | Ross3D | 50.7% |

| 主动交互方法(商业) | Gemini 3.6 Flash | 52.2% |

| 主动交互方法(本文) | Act3D(混合数据训练) | **53.2%** |

Act3D混合数据训练的版本平均准确率53.2%,在全部对比方法中排最高,比它自己监督微调的初始版本高4.6个百分点,ARKitScenes数据集上的提升尤其扎眼,达14.1个百分点。

泛化能力更受关注。研究团队专门做了一组实验:强化学习阶段只用ScanQA一个数据集训练,模型在完全没训练过的另外五个数据集上平均准确率仍涨了2.1个百分点,MP3D上甚至涨了6个百分点。模型学到的显然不是针对某个数据集的死记硬背,而是某种更通用的探索与推理能力。

训练过程中,探索行为究竟是怎么一步步"长"出来的?

这部分实验结果,或许是整篇论文里最吸引人的一段。

团队按"要移动几次才能靠近答案物体"把ScanQA的验证问题分了组,从1次一直排到7次以上,再分别统计SFT阶段和RL阶段各自带来多少准确率提升。

规律很清楚:起始视角就能直接看到答案的题目,整个训练流程只提升了0.6个百分点;而需要移动7次以上才能接近目标的题目,提升幅度达到16.3个百分点,光RL阶段就贡献了10.9个百分点。

这个数字说明的道理很朴素——答案摆在眼前时,探索能力再强也派不上用场;答案被藏起来、得主动去找时,探索能力的价值才真正体现出来。好比考试,答案就写在题干里,学霸和普通学生拉不开多少差距;换成一道得翻遍整本参考书才能找到线索的难题,"知道该上哪儿找"就成了拉开分数的关键。

论文还用训练曲线呈现了这种变化:只拿ScanQA训练时,强化学习步数越多,平均互动次数就从约3.3次一路涨到8.3次,模型越来越"愿意多瞅几眼"。不过这种增加并非乱来,定性分析给出了几种清晰的模式。

**目标物体一开始被挡住或不在视野里,模型就会主动换视角去找;目标已经看得清清楚楚,它简单确认一下就作答,不做多余动作。碰上需要比较多个物体关系的问题,比如"床头柜在床的哪一侧",模型会主动取几个互补视角再综合判断。**

论文举的例子挺生动:问"办公椅是什么颜色",模型先向左移,看到前景里的椅子,认出这是带轮子的办公椅,接着再向左转一下,确认桌面的颜色。全程没有一步是多余的,也没有草率地在第一帧就交答案。

渲染还是检索:一个容易被忽略、却相当关键的工程取舍

论文还做了一个很接地气的对比实验:渲染图像和检索最近的真实照片,到底哪个更好用。

按直觉,真实照片画质肯定更优,渲染图多少有点"假"。可研究团队发现,假如模型发出"向左移动0.56米"的指令,系统却拿数据集里离该位置最近的真实照片顶替渲染结果,这张照片和模型实际请求的视角之间常常差得很明显——论文给出的数据是偏差可达1.96米、24度角度偏移。

**结果,渲染方法在全部13个评测节点上都稳稳压过真实图像检索,平均高出10.6个百分点。这说明动作和观察之间的一致性,比画面清不清晰更要紧。模型说"往左走一步",看到的画面却和这个动作对不上,那它学到的"动作-观察"对应关系就是错的,哪怕每张图单看都很清楚。好比在健身房对着镜子调动作,镜子要是歪的,再高清也白搭,调出来的姿势照样是错的。**

从哪里来,往哪里去

这篇论文所在的研究脉络里,有两条线值得单独拎出来说。

一条是3D视觉语言模型这条主线。较早的3D-LLM直接把点云或网格顶点塞给模型处理,之后的LL3DA、3D-VisTA等延续了这个路子,把3D数据结构化后再喂给语言模型。再往后,Video-3D LLM和Ross3D这类工作开始尝试视频加深度、位姿信息的组合输入,想在保留更多3D信息的同时把处理难度降下来。Act3D与它们最大的区别是:它不把3D表示直接交给模型,而是把3D场景留在模型外部,当成一个只能靠互动访问的环境。

另一条线是具身问答和主动探索。更早的EmbodiedQA提出了"通过导航来回答问题"这个框架,后来OpenEQA把思路扩展到开放词汇的评测场景。与Act3D同期还有不少探索视角选择的工作,比如免训练的Chain-of-View方法,用粗到细的离散相机动作接口来选视角;还有给模型配上3D重建工具、用强化学习优化工具使用的Think3D。Act3D的不同之处是:把"探索该怎么走"完全交给结果驱动的强化学习去学,不设任何中间的视角选择规则。

写在后面

读完这篇论文,最让我记住的其实不是最终那个53.2%的准确率,而是"互动奖励"的设计细节——只有真正拍到目标物体,才给满额奖励。这个看着不起眼的机制,恰恰是全文能避开"模型学会瞎走骗奖励"这个坑的关键。不少强化学习系统翻车,问题往往不在算法本身,而是奖励函数留了漏洞,模型摸到了捷径。这提醒我,设计激励机制,不管是训AI还是带团队,难处永远在于怎么防止"优化目标"和"真实目标"跑偏。

还有个细节值得单独说。论文提到完全不做监督微调、直接上强化学习的那组实验,模型训练很久之后互动次数仍只有2次左右,远低于有监督微调预热后的8.7次。可见有些能力的学习是有门槛的:没有基本的行为起点,光靠奖励信号去塑造行为,效率会非常低。这让我想到小孩学说话,大人光点头摇头给反馈,孩子很难自己凑出完整句子;先教会他一些基本词汇和语法结构,后续的反馈才能真正起作用。

论文也留了些没完全解决的问题。比如它自己提到,加上"按互动次数给奖励"这个额外机制后,跨领域泛化能力确实提升了,但训练领域内的准确率反而轻微下降。这说明鼓励探索和保证效率之间,有个还没找到完美平衡点的权衡:让模型多看能让它见识更广,也可能让它在本来一眼就能看出答案的简单问题上多走冤枉路。这个权衡怎么调,恐怕没有固定答案,得看具体任务更看重"稳妥"还是"全面"。

一个AI正站在它从未见过的房间里,手里只有一张起始画面,没有地图,没有标注,也没人告诉它答案藏在哪个角落。往左走还是转身回头,全得靠它自己判断。这个画面想想还挺有意思的。

Q&A

Q1:Act3D是什么?

A:Act3D是一套让视觉语言模型在3D场景中主动探索的方法。模型每次只拿到一张图片,得先发出移动指令换来新画面,再结合推理一步步逼近答案,而不是一开始就掌握整个3D场景的信息。

Q2:训练时不告诉模型该往哪走,Act3D是怎么学会探索的?

A:研究团队分两个阶段训练。第一阶段用示范轨迹让模型先熟悉基本的互动协议;第二阶段上强化学习,只按最终答案对不对给奖励。模型反复试不同路径、比较结果好坏,探索策略就这样自己摸出来了。

Q3:Act3D的表现到底有多好?

A:六个3D推理基准测试上,Act3D平均准确率53.2%,比基础模型高22个百分点,超过了谷歌的Gemini 3.6 Flash。它用的输入画面数量还比其他开源方法少50%到70%。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. AI长线调查训练难在哪:题太简单、反馈太糙

    你有没有玩过那种需要连环推理的侦探游戏?不是"谁是凶手"这么简单的一道题,而是你得先找到一张老照片,认出照片里的建筑,查这栋建筑的历史,顺藤摸瓜找到一场国际会议,再从会议参与者里锁定一个人,追踪他的继任者,最后在继任者纪念馆的某张照片里,数清楚几根柱子。这是一个真实的例子。论文里展示的一道训练题,起点是一...

    来源 腾讯网
  2. AI智能体游戏反复失败:问题出在"没见过"

    你让一个AI智能体去玩一个文字冒险游戏,比如ALFWorld里的那种任务:把苹果放进冰箱冷藏。它尝试了一百次,一百次都失败在同一个地方,比如它压根没想到要先打开冰箱门。这时候你用再聪明的算法去分析这一百次失败的轨迹,能挖出什么新东西吗?答案是挖不出来。因为这一百条轨迹里根本没出现过"打开冰箱门"这个动作,你没法...

    来源 腾讯网
  3. SoonPlay亮相长三角文博会:AI轻游戏生成平台首次线下演示

    新京报贝壳财经讯(记者俞金旻)第七届长三角国际文化产业博览会于11月19日在国家会展中心(上海)开幕。极逸人工智能携旗下AI轻游戏生成交互平台SoonPlay亮相,这也是SoonPlay首次在线下进行演示,现场直观呈现如何借助SOONAI一键生成游戏。记者了解到,AI轻游平台SoonPlay主打“视频即游戏”,用户无须

    来源 腾讯网
  4. 华为OSTA星芒推首款鸿蒙AI手机OSTA O1 Pro,主打系统级智能体小艺

    现在请你张开左手,略微用力仔细抚摸小指头第二节的内侧,大概率会摸到一个凹槽,这是我们长时间使用手机时用小指头当做支撑点留下的印记。这种可触摸的印记要比手机对我们大脑留下的改变更为直观,亦是人在使用手机,手机反过来塑造人的小小例证。类似的,在《人类简史》里,作者提了一个有点反常识的观点:看起来是人类驯...

    来源 腾讯网
  5. AI硬件的牛市结束了

    最强势的市场,也顶不住这轮AI回调了。 从10月的高点算起,涵盖AI硬件全链条的费城半导体指数跌去27.8%。其中,算力龙头英伟达跌去36.1%、存储龙头美光跌去43%,就连给他们供货的寡....

    来源 腾讯网
  6. 自家人都看不下去了?数百谷歌员工要求公司允许中小学使用不含 AI 的谷歌搜索

    IT之家 11 月 20 日消息,当地时间 19 日,据彭博社报道,超过 500 名谷歌员工和合同工联名请愿,要求公司允许中小学继续使用不含 AI 功能的谷歌搜索。请愿书致谷歌 CEO 桑达尔 · 皮查伊、搜索业务负责人伊丽莎白 · 里德和教育业务负责人克里斯 · 菲利普斯。活动由 Alphabet 员工工会发起,其代

    来源 腾讯网
  7. Megaspeed被查:一家游戏背景公司如何做成41.3亿美元AI芯片生意

    2015年,一家名叫7 Road International的公司在新加坡注册。 最初几年,它并不起眼。谁也不会想到,十年后,这家公司会成为英伟达先进AI芯片供应链上一个引人注目的名字。 2023年,公司更名为Megaspeed International,业务重心也开始转向云计算和AI基础设施。 随后,它的生意急速膨

    来源 AI 行业观察
  8. Gemini 4 翻身记:SemiAnalysis 补交道歉表,Hassabis 接梗

    曾断言 Gemini 掉队的研究机构 SemiAnalysis,在 Gemini 4 系列密集发布后向 Google 公开致歉。文章梳理 DeepMind 的组织调整、算力分配与长期研发积累,解析真实工程任务驱动的后训练如何提升编程和智能体能力。

    来源 爱范儿
  9. Gemini 4 翻身背后:SemiAnalysis 填表道歉,Hassabis 接梗回应

    Google DeepMind通过组织调整、算力重新分配和训练体系升级,在短短七周内连续推出四款Gemini 4模型。依托大规模预训练、多线并行研发和真实工程场景的强化学习训练,Gemini在编程和Agent能力上实现突破,重返行业第一梯队,此前唱衰Google的SemiAnalysis也公开致歉。

    来源 华尔街见闻
  10. 杨枫谈《时空低语》:献给未来的情书为何引共鸣?

    单机游戏《时空低语》制作人濮冠楠,正是小说《时空低语》的作者。《时空低语》小说于2026年11月由作家出版社正式出版。18年后的今天,濮冠楠带着《时空低语》的新书,和彼时的《科幻世界》副主编杨枫有了这次跨越时空后的对话。两年多过去,2026年11月19日,《时空低语》游戏预告片全球首发。《时空低语》游戏整体研发周期预期

    来源 TechWeb
  11. 《时空低语》全球首发预告:杨枫谈火星之问与科幻情书

    单机游戏《时空低语》制作人濮冠楠,正是小说《时空低语》的作者。《时空低语》小说于2026年11月由作家出版社正式出版。18年后的今天,濮冠楠带着《时空低语》的新书,和彼时的《科幻世界》副主编杨枫有了这次跨越时空后的对话。两年多过去,2026年11月19日,《时空低语》游戏预告片全球首发。《时空低语》游戏整体研发周期预期

    来源 TechWeb
  12. 美参议员致函苹果谷歌Meta:AI脱衣应用未下架,Meta仍在赚广告费

    IT之家 11 月 21 日消息,据英国《卫报》报道,美国参议员罗恩 · 怀登、埃德 · 马基和本 · 卢汉指出,苹果和谷歌未能有效识别或下架用于生成未经当事人同意的裸照或色情图像的应用。三人还指出,Meta 仍在从这些所谓的 AI 脱衣应用广告中获利。当地时间 18 日,三人向苹果、谷歌和 Meta 的 CEO 致函

    来源 腾讯网
  13. 英伟达单周跌近23%创2008年来最差,美股AI板块集体重挫

    板块方面,半导体产业链成为重灾区,费城半导体指数暴跌10.73%。英伟达跌14.01%,报收125.53美元,连续第7个交易日下跌;特斯拉跌7.64%,Meta跌5.93%,亚马逊跌4.10%,微软跌2.77%,谷歌跌2.59%,苹果跌1.90%。值得一提的是,英伟达本周累计下跌近23%,创2008年10月以来最大单周

    来源 TechWeb
  14. 贝佐斯重返一线:Prometheus估值410亿美元,要做物理世界的OpenAI

    作者|宇航猿编辑|靖宇AI 吞掉了软件,现在,它要吞掉工业了。卸任亚马逊 CEO 五年后,杰夫·贝佐斯没忍住,又给自己找了个班上。当地时间 2026 年 11 月 17 日,加州门洛帕克的 Semafor「硅谷与世界」峰会现场,贝佐斯和物理学家维克·巴贾杰(Vik Bajaj)罕见同台。他现在的最新头衔,是 AI 初创

    来源 腾讯网
  15. 问诊AI?一场死亡背后的追问

    查症状、看药品说明书、理解检查报告,优先用有明确医学语料来源、答案带引用且被设计为“转介医生”而非“替代医生”的专业医疗AI产品,而不是把通用聊天大模型当成全科大夫。

    来源 凤凰科技
向下滚动自动加载更多