GroundGUI新论文:AI点屏幕总点错,怎么破
你有没有试过让一个AI助手帮你点开某个软件里的设置按钮,结果它点到了隔壁的图标上?这种事情看起来小,但对一个想要真正帮你操作电脑的AI来说,这是生死攸关的问题。它看懂了你的指令,也看到了屏幕截图,可就是没办法把语言和画面里那个具体的像素点对应起来。这个能力有个专门的名字,叫GUI视觉定位。GUI视觉定位:给A...
让AI助手上手去点某个软件里的设置按钮,结果它一指点到了旁边的图标上,你遇到过这种情况吗?
看着是小事,可对真想替你操作电脑的AI而言,这是要命的问题。指令它听懂了,屏幕截图也看到了,偏偏没法把语言跟画面里那个具体的像素点对上。这个本事有个专门叫法:GUI视觉定位。
GUI视觉定位指的是:给AI一句指令、一张屏幕截图,让它准确报出该点的坐标。所有“会用电脑”的AI智能体,都得先把这项能力打牢。
地基不牢,楼就盖不高。Prentis AI等机构合作的这篇论文,攻的正是这块地基,而且攻得挺彻底。
卡住的两处:数据与训练方法
先说这个领域当时卡在哪里。
做GUI定位的模型里,表现最靠前的那批——UI-TARS-2、MAI-UI、Mobile-Agent-v3.5——有个共同点:训练用的是私有大规模数据集,外部根本拿不到。好比几位顶尖厨师各自攥着独门秘方,你想学做同一道菜,配方却不公开。
开源阵营里相对领先的GroundCUA和ScaleCUA倒是把数据放了出来,可训练出的模型效果总差一口气,问题出在数据多样性不足、标注准确度也有限。
另一处卡点在训练方法。
训练这类模型目前主要走两条路:监督微调和强化学习。监督微调的毛病是模型会把训练时见过的界面“死记硬背”下来,换个新软件、新场景就容易翻车,也就是过拟合到特定领域。强化学习理论上能治泛化,可它有个致命弱点:稀疏奖励。
所谓稀疏奖励,就是任务太难时,模型采样出的尝试全是错的,拿到的奖励清一色为零,有用的梯度信号一点也学不到。跟蒙眼投篮差不多:投十次全不进,你连偏左还是偏右都判断不了。
数据不够好、训练方法有缺陷,这两座山就是整篇论文要翻的。
自建一套够格的数据集:ScreenRef
论文团队干的第一件事是自己造数据,要的是规模大、质量高、覆盖面广。
最终拿出的数据集叫ScreenRef:58.6万张屏幕截图,63.3万条指代表达式,也就是“点击设置图标”这类自然语言指令配上对应坐标标注。桌面、网页、移动三大平台都覆盖,图片分辨率从0.1兆像素跨到8.3兆像素,手机上的小图标到专业设计软件的高清界面,基本都在里头。
这套数据是怎么造出来的?论文给出了两条并行的生产线。
第一条路,是从真实软件截图里抽取结构化信息。
桌面应用靠无障碍树——那是给视障用户做屏幕朗读的接口,本身就会记录每个控件的位置和名字;网页靠DOM结构,即浏览器描述网页元素层级的标准格式;安卓应用靠XML布局文件。这些原始元数据常常不准,比如框选位置偏了,于是团队又拉来视觉检测工具OmniParser V2做交叉验证,元数据框与实际检测框的重合度(IoU,两个框交集面积除以并集面积)不到0.5的样本,直接剔除。
之后由Qwen3-VL-235B-A22B-Instruct这类大模型照着标注框生成自然语言指令,再交给另一个模型Qwen3.8-27B反向核验:把原图和裁出的目标框给它,问这个答案对不对。“生成—校验”两道关把下来,数据可靠性有了保障。
这套流程最后产出三类核心指令:文本识别,靠屏幕上能读到的文字找目标;视觉匹配,靠图标形状、颜色这类视觉特征找目标;空间理解,靠“在某某左边”“在某某容器内”这种相对位置关系找目标。
第二条路更有意思:从YouTube教程视频里挖数据。
真实的软件操作教程视频里藏着大量自然的人机交互场景,静态截图很难覆盖到。团队先自动生成搜索词去抓教程视频,再用语言模型把非教程内容滤掉,然后用FFmpeg从没有字幕的视频里提取音频、转成文字稿。
处理分三步走。第一步提关键帧:算画面局部变化来定位操作发生的时刻,同时用YOLOv8检测鼠标光标位置作辅助线索,取操作前后两张干净的静态画面,避开动画过渡里的模糊帧。第二步标指令和动作:把配好的前后帧连同字幕片段一起丢给GPT-5.5,让它产出“点击了什么”“该动作对应的指代表达是什么”这类结构化标注。第三步定坐标:先由Qwen3.7-Plus给出目标坐标和置信度打分,置信度低于0.95这个阈值,就升级交给Claude Opus 5重新定位,还不行就整条样本丢弃。
有个细节值得单拎出来说:团队特意造了“拒绝”类样本,故意把不匹配的指令和画面配成对,让模型学会在目标压根不存在时回答“我找不到”,而不是硬编一个坐标出来。
这跟带新客服是一个道理:既要教他怎么答对问题,也得教他在确实不知道答案的时候老实说一句"这个我不清楚",别胡编一个答案敷衍过去。拒绝样本的训练缺了,模型碰上画面里压根没有的目标,多半会硬在某个看着差不多的地方点一下。这种虚假自信比"不知道"更糟,下游自动化流程会照着执行一个彻底错误的操作。
ScreenRef最终有28.4万条样本取自截图路径,其余35万条左右来自视频路径。拿去和市面上其他数据集比,分辨率跨度从0.1到8.3兆像素,其他数据集普遍只覆盖0.5到2.1兆像素;拒绝样本这一项,市面上只有ScreenRef和另一个叫JEDI的数据集做了设计。两项都占明显优势。
两阶段训练法:D2RL
数据有了,第二个问题还摆在那儿:怎么训练,模型才能既学得准又不死板。
论文给的方案叫蒸馏到强化学习(Distillation-to-Reinforcement Learning,简称D2RL)。思路分两步,先拿"在线自蒸馏"打底,再用强化学习精修。
在线自蒸馏(OPSD)的做法是:让一个"开了天眼"的教师模型,在学生模型自己采样生成的答案前缀上给出逐个token级别的细粒度指导,而不是只丢一个最终对错的判断。
运作方式是这样的。学生模型(正在训练的那个策略网络)看着原始截图和指令,自己生成一个坐标答案。同时有个冻结参数的教师模型,它其实是SFT阶段训练好的模型的一个副本,看到的画面里多叠了目标框的高亮标记和文字提示,等于提前知道正确答案在哪。两边对同一段文字打分,再用KL散度(衡量两个概率分布差异的指标)把学生和教师在每个字符位置上的预测分布拉近。
这里还埋了个精细设计——位置感知加权。坐标数字里,百位错了位置就偏出一大截,个位错了影响很小,所以算损失时,数字位数越高的token权重给得越大。
好比批改数学作业:整数部分算错(比如把235写成835)是致命错误,必须重点纠正;小数点后第三位有点误差,影响不大,可以从轻处理。不做这个区分,所有错误一视同仁地纠,训练效率会大打折扣——模型花同样多的精力去修无关紧要的小数点误差,资源却没集中到真正要命的位置偏差上。
OPSD这一步走完,模型已经有了一个相对靠谱的起点,这时候才轮到强化学习登场。
第二阶段用REINFORCE Leave-One-Out(RLOO):一种不需要额外训练价值网络(critic)的强化学习方法,在同一组多次采样结果里互相比较,拿"去掉自己之后其他样本的平均奖励"当基准线,算出每个样本的优势。
奖励设计很简单:看模型给出的坐标点落没落在正确的目标框内,落在就给1分,没落在或者格式都解析不出来就给0分。
"先蒸馏打地基,再强化学习精修"这个顺序很关键。论文的消融实验能说明问题:单独用监督微调,五个基准测试平均分68.0;加上OPSD提到69.1;加上RLOO提到68.9;两步合起来的D2RL冲到69.9。论文还专门做了个对照,让模型先用那12000条强化学习数据直接做监督微调,再做RLOO,结果只有69.1,比完整的D2RL低0.8分。可见D2RL的提升不是因为模型多看了几遍数据,而是OPSD确实给强化学习准备了一个更好的起跑点。
这就像两个学生准备同一场考试:一个先把基础知识点扎实过一遍再刷真题(对应D2RL),另一个直接硬刷同样数量的真题(对应单纯的RLOO或者反复接触同一批数据)。两人最后做的题量差不多,前者往往考得更好,基础打得牢,刷题的效果才发挥得出来。跳过打基础直接上强化学习,碰到特别难的样本(比如密密麻麻的小图标),模型采样出来的答案可能全是错的,奖励全是零,根本学不到东西——这就是前面提到的稀疏奖励问题。
整套训练流程走完,诞生的模型叫GroundGUI-8B,基础模型用的是Qwen3-VL-8B-Instruct。
成绩单:8B模型打出32B的水平
成绩怎么样,数字最有说服力。
GroundGUI-8B在ScreenSpot-V2(综合性GUI定位基准测试,覆盖网页、桌面、移动三端)上拿到95.2%,ScreenSpot-Pro(专注高分辨率专业软件场景,考验模型在密集复杂界面里找小目标的能力)上63.9%,OSWorld-G(基于真实电脑使用场景的测试,强调布局理解和操作语义)上65.4%,MMBench-GUI L2(考验更复杂的跨平台指令理解)上86.8%,UI-Vision(强调对元素语义和空间关系的推理)上38.3%。
和基础模型Qwen3-VL-8B比,提升幅度是:ScreenSpot-V2涨3.5分,MMBench-GUI L2涨5.5分,ScreenSpot-Pro涨14.0分,OSWorld-G涨10.6分,UI-Vision直接涨20.8分。
这组数字里最扎眼的是UI-Vision上接近21分的提升。原来每5次操作里大约有1次是因为理解不了空间关系或者功能语义而出错的,训练之后这部分错误被大量纠正了。
再往上比,GroundGUI-8B甚至打过了好几个参数量是它4倍的32B模型:GUI-Owl-32B、ScaleCUA-32B、OpenCUA-32B和Qwen3-VL-32B。8B打赢32B,在"参数即战斗力"的直觉下挺反常识,论文的解释很朴素:真正决定上限的往往不是模型大小,而是喂给它的数据质量和训练方法的合理性。
论文还设置了一组对照实验:把同一个基础模型Qwen3-VL-8B分别投喂ScaleCUA、GroundCUA、ScreenRef三种数据集,仅做监督微调,再比较效果。ScreenRef训练出的模型在四个基准上平均76.4分,比ScaleCUA组高3.5分,比GroundCUA组高2.7分。到了OSWorld-G上差距更明显,对ScaleCUA领先3.2分,对GroundCUA领先5.3分。论文认为,这很可能与ScreenRef含有拒绝样本有关,另外两个数据集完全没有这类训练内容。
论文发表后,GUI智能体的技术路线逐渐明朗。此前UI-TARS系列、GUI-Owl系列一直在模型结构和强化学习算法上下功夫,InfiGUI-G1采用自适应探索策略优化,GUI-G2则引入高斯奖励建模,来处理定位任务中“差一点也该有部分奖励”的情况。GroundGUI换了打法,把重心挪回数据和训练顺序的设计,说明即便基础模型架构不变,只要把数据和训练节奏调对,也能拿到大幅提升。这提了个醒:算法创新固然重要,数据工程和训练策略的细致打磨,回报往往更直接。
写在后面
通读论文,最打动人的不是最后那几个百分点的涨幅,而是团队对待“拒绝识别”的方式。
不少GUI智能体论文都默认目标元素一定在画面里,模型只管把它找出来。可现实并非如此:用户随口说“帮我点一下那个分享按钮”,这个界面也许根本没有分享按钮。模型若被训练成永远要吐出一个坐标,学到的就是系统性撒谎——找不到答案时编一个看起来合理的。这比答错更麻烦,因为错误被包装成了自信。
ScreenRef把拒绝样本当作一等公民来设计。这个选择背后是对AI系统工程认知的转变:衡量一个智能体靠不靠谱,不能只看答对多少,还得看它在不该答的时候能不能闭嘴。放到更大的AI安全讨论里,这其实是同一个命题的不同侧面。
另一个让人反复琢磨的细节,是OPSD阶段“教师看得见答案、学生看不见”的设计。这种信息不对称的师生关系,有点像考试里的标准答案批改法:老师拿着答案册对照学生的解题过程,而不是自己重新做一遍题。这样做省掉了教师模型“自己也可能出错”的风险,监督信号更纯粹。但它也留下一个论文没有深入讨论的问题:假如教师模型对某类图标语义本身就有系统性偏差,比如某种小众软件的专业图标,那么即便给了标准答案框,它生成的token级指导会不会把这种偏差一并传给学生?这或许是D2RL今后要继续打磨的地方。
Q&A
Q1:GroundGUI-8B是什么?
A:GroundGUI-8B是基于Qwen3-VL-8B-Instruct训练出的GUI视觉定位模型。借助ScreenRef数据集和D2RL两阶段训练方法,它能把自然语言指令准确映射为屏幕上的具体点击坐标,在多个基准测试中超过部分32B大模型。
Q2:ScreenRef数据集有什么特别之处?
A:ScreenRef收录58.6万张截图和63.3万条指令,覆盖桌面、网页、移动三端,分辨率跨度大,还特意加入拒绝类样本,让模型在目标不存在时主动承认找不到,而不是乱给坐标。
Q3:D2RL训练方法解决了什么问题?
A:D2RL先通过在线自蒸馏给模型一个更好的训练起点,再用强化学习精修。这样一来,纯强化学习在难样本上奖励全为零、学不到信号的问题得到解决,纯监督微调容易死记硬背、泛化差的老毛病也避开了。