GroundingPI：机器人为何抓歪杯子？缺的是像素级定位

聊天、写代码、知识面很广的AI，放到机械臂上抓杯子，为什么常常抓歪？这个问题值得想一想。

听起来确实反直觉。这些大模型考试能过、量子力学也能讲，偏偏"杯子在哪儿"这种简单问题答不准？

症结出在一个长期被忽略的环节：这类AI多数是为聊天和看图说话准备的，说"这是一个杯子"没问题，但要说清"杯子的把手落在图像第137个像素到第152个像素之间"，就未必了。机械臂抓东西，要的恰恰是后一种精确到像素的信息。

XPeng、北大、港大等机构联合提出的GroundingPI，瞄准的就是这件事。论文给出一个40亿参数的"定位专家"模型，专门练精准指物的本事，再喂给自动驾驶和机器人系统。结果显示：只把"看得准"这一项做好，下游驾驶和抓取任务的表现就大幅提升。

动手收拾桌子前，先得认出哪个是杯子

论文举了个很朴素的例子：收拾一张乱桌，你会先找到杯子和它的把手，再决定怎么抓、怎么搬。先弄清"在哪里"，才谈得上"怎么做"。

这个顺序听上去天经地义。可当前主流的机器人大模型并非如此。VLA模型（视觉-语言-动作模型，能同时处理图像、文字指令并输出机器人动作，例如知名的π0和OpenVLA）和WAM模型（世界-动作模型，靠预测未来画面变化来理解物理世界如何运作，进而指导动作生成），大多是从通用视觉语言模型或视频生成模型改造过来的。

问题在于，这些通用模型天生就不是为"精确定位"优化的。

论文列了一组挺扎心的数据。Dense200是专门考验在拥挤、密集场景里精确框出每个物体的密集物体检测测试集，通用模型Qwen3-VL-4B只拿到14.02分（满分100），号称当下最强的GPT-6 Astra也只有65.04分。GroundingPI则拿到74.53分，比Astra高出将近10个点。

这意味着什么？设想在一个塞满杂物的抽屉里找一把特定螺丝刀，周围全是形状相近的工具。一个"看得不够准"的AI，可能把相邻两个工具的边界框混在一起，也可能干脆漏掉小的那个。这个问题不解决，机器人伸手去抓时抓偏的概率会直线上升；偏差在拥挤场景和微小物体上最严重，而这偏偏是现实世界里最常见的情况。

研究者的判断是：与其指望一个无所不能的通用大脑顺手把"精确看物体"做好，不如单独训练一个专攻"看"的模型，再接到下游驾驶和机器人系统里。GroundingPI正是从这一点出发。

一套通用语言，专门描述"在哪里"

GroundingPI最底层的思路，是把所有与"定位"相关的任务统一成一种语言。

具体做法是：模型把图像坐标量化成1000个离散的数字格子，从<0>到<999>，这些数字格子和普通文字词汇一起放进同一个词表。

坐标词表的作用，是把连续的图像坐标（比如像素位置127.6）转换成一组固定的、有限的数字符号（比如<128>），模型就能像说话一样，用生成文字的方式"说出"一个物体的位置。

这个设计巧妙在哪？框出物体边界框、指出一个点、识别一段文字、在GUI界面上点一个按钮，全都能用"这里有个标签，后面跟着几个坐标数字"的格式表达。打个比方，这相当于给所有不同类型的空间任务发了同一张身份证：定位猫、定位文字、定位按钮，模型说话的"语法"一致，区别只在说的内容。

不这样统一会怎样？每种任务都得单独设计一套输出格式，模型学起来更碎片化，已学到的空间感知能力也更难在不同任务之间迁移。统一的坐标语言让模型能把"学会精确定位"这件本事，在检测、指代、OCR、

GroundingPI的架构并不复杂：MoonViT-V2视觉编码器负责"看懂"图像，接一个两层的投影器，把视觉信息转成语言模型能理解的格式，最后交给Qwen3-4B语言解码器，以自回归方式（一个词一个词往外蹦）把结果说出来。整个模型约48亿参数，在今天动辄几百亿参数的大模型里算相当轻巧。

训练一个"看得准"的模型，靠三步走，外加一个自我纠错的裁判

光有统一的语言格式还不够。真正让GroundingPI变得精准的，是训练过程。

训练分三个大阶段。第一阶段是基础视觉语言训练，先让模型学会基本的看图说话，积累广泛常识。第二阶段是坐标对齐，也就是监督微调（SFT：Supervised Fine-Tuning，用人工标注好的数据手把手教模型该输出什么），专门针对8类空间任务强化，包括检测、GUI定位、指代表达定位、OCR等。

第三阶段最有意思，叫强化后训练，用的算法叫GRPO。

GRPO（Group Relative Policy Optimization，组相对策略优化）：让模型自己生成多个候选答案，互相比较打分，挑出相对更好的答案来强化学习，不需要额外训练一个独立的打分模型。

具体做法是：同一张图片、同一个问题，模型生成8个不同的候选答案，再用一套精心设计的打分规则给这8个答案排名，分数高的被"鼓励"，分数低的被"抑制"。

打分规则的设计颇费心思。框定位任务用两套互补指标来衡量：一套是“集合完整性”，盯的是模型有没有漏掉本该框出的物体；另一套叫“严格定位”，看的是框得准不准、有没有重复框、有没有框得过大。两套指标分别按0.7和0.3的权重加权合并。

OCR任务（光学字符识别，即从图片里认出文字）的打分还要多一层考量：文字内容对不对、文字所在区域框得准不准，两项同时达标才能拿高分。

这套机制好比请了一位挑剔的编辑来审稿。只查“有没有提到这个人”，编辑可能放行一篇东拉西扯、什么都提一嘴却毫无重点的稿子；只查“写得精不精炼”，又可能漏掉遗失了重要信息的稿子。GroundingPI的办法是让两个编辑同时上阵，一个专挑“漏了什么”，一个专挑“准不准、啰不啰嗦”，两边意见合起来才算数。少了这层双重把关，模型很容易在“多框一些保证不漏”和“少框一些保证精确”之间倒向某一端。

和44个对手同台，34个考场挨个过招

设计思路讲了这么多，GroundingPI的实际表现究竟如何？

论文做了一轮相当扎实的横向对比：GroundingPI与44个基线模型在34个基准测试上较量，测试覆盖11种不同的感知能力，从常见物体检测、密集小物体检测、指代定位、物体指点、机器人空间定位、OCR、GUI界面定位、文档版面分析到视觉提示定位，几乎把能想到的“看图找东西”场景都包了进去。

对手阵营里，既有专门的检测模型（例如GroundingDINO），也有各种参数规模的通用视觉语言模型，包括千亿参数级别的Qwen3.7-Max、Kimi-K3，以及论文反复拿来对照的GPT-6 Astra。

结果出炉：34个测试上GroundingPI平均拿到73.68分，体量大得多的GPT-6 Astra平均为71.54分。

有个细节值得留意：GroundingPI并非每个测试都赢。场景文字识别测试TotalText上，它拿49.32分，低于GPT-6 Astra的53.55分；无人机航拍的密集小目标检测VisDrone上，它也落在几个对手后面。论文对此并不回避，没有包装成“全面碾压”，而是表示这体现了“整体优势不代表处处领先”。

但几个最硬核的指标上，GroundingPI的表现相当抢眼。物体指点任务（Object Pointing，要求模型直接给出落在目标物体内部的一个坐标点，而非框出整个边界）的7个测试中，它拿下6个第一；人物指代定位测试HumanRef上，它得到88.56分，远超GPT-6 Astra的83.01分。

| 测试维度 | GroundingPI | GPT-6 Astra | 差距 |

|---|---|---|---|

| Dense200密集检测 | **74.53** | 65.04 | +9.49 |

| HumanRef人物指代 | **88.56** | 83.01 | +5.55 |

| RoboSpatial机器人空间定位 | **73.77** | 65.69 | +8.08 |

| SROIE票据OCR | **72.47** | 53.57 | +18.90 |

| M6Doc文档版面 | **74.82** | 60.59 | +14.23 |

输出效率的对比更有意思。COCO数据集上，GroundingPI平均每个框只用7.6个token（模型输出的最小文字单位），对比模型SEED1.5-VL则要148.8个token，相差接近20倍。定位准，表达也更“简洁”，这对讲究快速响应的机器人控制场景来说很关键。

光是“看得准”，机器人和汽车就能变聪明

理论说得再漂亮，终归要落到实际任务里才算数。论文随后做的事，就是把GroundingPI装进自动驾驶和机器人系统里充当“眼睛”，观察下游任务的表现会不会随之改善。

实验设计上有个关键点：为保证公平对比，每个下游任务里，动作执行模块的架构、训练数据量和训练预算都被固定，唯一变动的只有“由哪个模型提供视觉感知”。这样安排是为了排除其他因素干扰，确保观察到的差异真来自感知能力的强弱，而非更多数据或更复杂的动作网络。

自动驾驶方面，GroundingPI被改造成轨迹预测器：输入当前摄像头画面和历史车辆状态，输出未来三秒内六个时间点的位置坐标。在自动驾驶基准nuScenes上，GroundingPI的平均开环L2误差为0.296米，低于专攻自动驾驶的Qwen3-VL-4B（0.301米）和RynnBrain（0.308米）。

提升幅度看着不大，但论文里有一句话值得玩味：这说明专为具身智能设计的模型，未必天然具备最适合驾驶任务的感知能力。换句话说，“专用”不等于“更强”，一个在基础感知上练得更扎实的通用定位模型，有时反而能后来居上。

更有说服力的是机器人抓取实验。测试在 RoboTwin 2.0（双臂桌面操作基准）和 RoboCasa-GR1（人形机器人精细操作基准）两个场景下展开，四大类预训练模型被拿来对比：通用视觉语言模型、视频生成类骨干网络、专门的定位模型，以及专门的具身基础模型。

GroundingPI在6项评测里拿下5项头名。更关键的是，全部4个分布外泛化测试（Out-of-Distribution，简称OOD，指测试条件与训练时见过的场景不同，考察的是真实泛化能力而非死记硬背）它都排在第一。

RoboTwin2.0设了一个最考验泛化的场景：干净场景训练、随机场景测试。在这一设置下，GroundingPI成功率达到17.60%，位列第二的Rex-Omni为14.10%，前者相对提升接近25%。

这组数字背后有层道理可讲。设想一位厨师，若只在一个固定厨房里练刀工，换到灯光不一样、台面材质也不一样的厨房，手可能就生了。可他练的若是"认清食材边界、精确下刀"这类底层功夫，换个厨房照样发挥。GroundingPI的强项正体现在场景变化下依然稳得住，原因在于它训练时盯住的是"精确空间感知"这一底层能力，而非记住某个特定场景该怎么做。

数据砍掉一半，效果反倒压过用四分之三数据的人

论文中还有一组关于"数据效率"的实验，数据相当抓人。

研究者在RoboCasa-GR1上把训练演示数据按25%、50%、75%、100%四种比例分别喂给各个模型，其余条件一律不动，看谁用更少的数据拿到更好的结果。

结果出来了：GroundingPI只用了50%的数据，成功率就做到28.75%，而RynnBrain用到75%的数据，成功率才27.75%。

这个发现挺有意思。它说明一个具备精确感知能力的"底座"模型，能让后面教机器人学动作的数据更专心去管"怎么做"，不必再花力气补"哪里是目标"这种本该一开始就解决的问题。

换个说法，你要教新员工做财务报表，可他连Excel基本操作都不熟，你得先花时间教软件，才轮得到教财务逻辑。要是他来的时候就是Excel高手，培训时间全都能砸在业务本身上，效率自然高出一截。GroundingPI相当于帮机器人训练省掉了"先学会看懂环境"这一大笔成本，让有限的动作演示数据更专注地教机器人"怎么动"。

那要是不先解决感知这个底层问题，直接把全部训练精力压在动作学习上，会怎样？论文指出，稀缺的动作数据可能被迫同时扛起感知学习和动作学习两副担子，而这两件事的学习难度和数据需求并不一样，混在一起学，效率自然打折扣。

哪种训练数据最管用：密集检测是定海神针，OCR是隐藏的催化剂

论文还做了一系列细致的消融实验（Ablation Study：逐一移除或替换某个组件，观察性能变化，以此判断该组件重要性的实验方法），想弄清楚到底是训练规模重要，还是训练数据的"配方"更重要。

先看规模。研究者把训练数据量级从88.4B（十亿）token逐步加到221B token，观察感知能力和下游机器人任务表现如何变化。结果两条曲线几乎同步上扬：感知分数从61.69升到73.68，机器人在分布外场景下的成功率从26.59%升到33.38%。这说明单纯堆数据规模，确实能同时把"看得准"和"干得好"往上推，而且泛化能力对感知质量的提升最为敏感。

再看配方。研究者把训练数据拆成六大类：基础检测、密集检测（在拥挤场景里精确区分每个物体）、指代表达（按文字描述找目标）、基础指点、机器人空间指点，以及OCR/版面/GUI这一大类辅助任务。随后做"留一法"实验，每次拿掉一类，看性能掉多少。

结果显示，拿掉密集检测这一类，机器人成功率掉了4.67个百分点，自动驾驶误差也明显上升，在几类数据里影响最大。研究者的解释是：机器人操作面对的拥挤桌面，和自动驾驶面对的远处密集车流，本质上需要同一种能力——在小目标、密集排列的场景里精确分辨每一个个体的边界。这两个看似毫不相关的领域，底层所需的感知能力居然相通。

更出人意料的是OCR这类任务的作用。拿掉包含OCR的那组数据，机器人任务的性能降幅是所有消融实验里最大的，达到5.33个百分点；可要是只用OCR这一类数据单独训练，效果反倒最差。

在这项研究里，作者给出的推测是：OCR 这类任务本身就会逼着模型去分辨笔画之间极细微的边界，同时还要把这么细的视觉区域跟对应的文字含义对上号，说白了就像一种“局部图像配文字说明”的训练。经过这样的训练，模型底层视觉特征的精细度或许会在不知不觉中被抬高，从而让密集检测这类空间监督信号发挥出更大的作用。

这有点像学做菜时顺带练出来的刀工。你本来是为了认字才去辨认各种字体的笔画走向，结果这种高强度的"抠细节"训练，意外地让你在切菜摆盘这种完全不相关的精细操作上也更熟练了。不过论文自己也强调，这只是一个有数据支撑的假设，具体因果机制还得靠更严格的对照实验去验证。

系统1和系统2：给机器人配一双专门负责"看"的眼睛

论文最后抛出一个颇有启发性的设计理念，借用了心理学里"双系统"的说法。

系统1/系统2：源自心理学家丹尼尔·卡尼曼的理论，系统1指快速、直觉式、无需深思熟虑的反应，系统2指缓慢、需要逻辑推理的深度思考。在机器人领域，这一概念被借来区分负责快速感知执行的模块（系统1）和负责复杂规划推理的模块（系统2）。

研究者的看法是，像GPT-6 Astra这类知识渊博、推理能力强的大模型，更适合担起"系统2"的角色，负责制定复杂计划、理解长远目标；而GroundingPI这种专精精确空间感知、输出简洁快速的模型，更适合担起"系统1"的角色，在具体执行时刻快速而准确地告诉机器人"目标在哪里"。

论文里有个类比挺贴切：好比一个编程助手，推理能力再强，写出来的代码老是跑不起来，那所有高级推理都没有实际价值。机器人的执行层同理，连"目标物体在哪"都判断不准，再高明的任务规划也落不了地。

不过得说清楚，“系统1加系统2”这套配合思路眼下只是纸面设计。论文并没有真去搭一个完整的双系统闭环控制器，延迟和整体表现都没验证。这一点，作者在局限性部分自己也交代了。

作者同样没回避GroundingPI尚存的短板。极高IoU（交并比，衡量预测框与真实框重合程度的指标）下的边界精度还不够，TotalText那类复杂艺术字体的OCR识别也吃力，FSC147视觉提示任务表现一般，跟顶级GUI定位模型比仍有差距。自动驾驶那块只做了开环评测，闭环控制没真正跑过。

---

写在后面

通读下来，最打动我的不是那些好看的跑分。研究者反复讲的那句“感知应该先于动作被学会”，才是重点。

这话听着平常，可放到眼下“大模型什么都能做”的叙事里，它是在逆着走。这几年不少人默认：模型够大、知识够广，下游能力自然就会冒出来，精确的空间定位也不例外。GroundingPI拿数据把这个假设顶了回去。一个体量仅4B的专精模型，在“看得准”上压过了大几十倍的通用模型，而且这种优势真能变成机器人抓取成功率的提高。

另一点让我没想到的是OCR的“催化剂效应”。文字识别本来被当成边缘任务，结果它的训练反倒把其他空间感知任务的效果明显放大了。这让我想到人类学习中的类似情形：一项看着不相关的技能训练，会意外带起另一项核心能力，原因可能是两者在更底层共用了某种基础认知机制。这种“跨任务的隐藏联系”，也许该在更多AI训练场景里重新掂量一下。

没解决的问题也摆得很坦率：闭环控制到底表现怎样，双系统架构真搭起来是什么模样，都还是开放题。假如负责精确感知的“系统1”和负责复杂推理的“系统2”真能协同起来，机器人会不会迎来下一波质变？这恐怕得等下一篇论文来答。

Q&A

Q1：GroundingPI是什么？

A：它是XPeng、北大、港大等机构联合推出的40亿参数定位基础模型，专攻图像中物体位置与边界的精确识别，并作为视觉感知骨干接入自动驾驶和机器人系统。

Q2：GroundingPI和GPT-6 Astra相比表现如何？

A：34个基准测试的平均得分上，GroundingPI拿到73.68分，略高于体量更大的GPT-6 Astra（71.54分）。不过艺术字体OCR识别这类部分任务，它还是落后于Astra。

Q3：GroundingPI对机器人抓取任务有什么实际帮助？

A：RoboTwin2.0和RoboCasa-GR1测试里，GroundingPI在多数场景下成功率排第一，所有分布外泛化测试更是全部夺冠。而且它只用一半训练数据，效果就超过了其他模型用四分之三数据的表现。