GroundGUI新论文:AI点屏幕总点错,怎么破

资讯 腾讯网 作者:科技行者 全文 5821 字 · 约 15 分钟读完

你有没有试过让一个AI助手帮你点开某个软件里的设置按钮,结果它点到了隔壁的图标上?这种事情看起来小,但对一个想要真正帮你操作电脑的AI来说,这是生死攸关的问题。它看懂了你的指令,也看到了屏幕截图,可就是没办法把语言和画面里那个具体的像素点对应起来。这个能力有个专门的名字,叫GUI视觉定位。GUI视觉定位:给A...

让AI助手上手去点某个软件里的设置按钮,结果它一指点到了旁边的图标上,你遇到过这种情况吗?

看着是小事,可对真想替你操作电脑的AI而言,这是要命的问题。指令它听懂了,屏幕截图也看到了,偏偏没法把语言跟画面里那个具体的像素点对上。这个本事有个专门叫法:GUI视觉定位。

GUI视觉定位指的是:给AI一句指令、一张屏幕截图,让它准确报出该点的坐标。所有“会用电脑”的AI智能体,都得先把这项能力打牢。

地基不牢,楼就盖不高。Prentis AI等机构合作的这篇论文,攻的正是这块地基,而且攻得挺彻底。

卡住的两处:数据与训练方法

先说这个领域当时卡在哪里。

做GUI定位的模型里,表现最靠前的那批——UI-TARS-2、MAI-UI、Mobile-Agent-v3.5——有个共同点:训练用的是私有大规模数据集,外部根本拿不到。好比几位顶尖厨师各自攥着独门秘方,你想学做同一道菜,配方却不公开。

开源阵营里相对领先的GroundCUA和ScaleCUA倒是把数据放了出来,可训练出的模型效果总差一口气,问题出在数据多样性不足、标注准确度也有限。

另一处卡点在训练方法。

训练这类模型目前主要走两条路:监督微调和强化学习。监督微调的毛病是模型会把训练时见过的界面“死记硬背”下来,换个新软件、新场景就容易翻车,也就是过拟合到特定领域。强化学习理论上能治泛化,可它有个致命弱点:稀疏奖励。

所谓稀疏奖励,就是任务太难时,模型采样出的尝试全是错的,拿到的奖励清一色为零,有用的梯度信号一点也学不到。跟蒙眼投篮差不多:投十次全不进,你连偏左还是偏右都判断不了。

数据不够好、训练方法有缺陷,这两座山就是整篇论文要翻的。

自建一套够格的数据集:ScreenRef

论文团队干的第一件事是自己造数据,要的是规模大、质量高、覆盖面广。

最终拿出的数据集叫ScreenRef:58.6万张屏幕截图,63.3万条指代表达式,也就是“点击设置图标”这类自然语言指令配上对应坐标标注。桌面、网页、移动三大平台都覆盖,图片分辨率从0.1兆像素跨到8.3兆像素,手机上的小图标到专业设计软件的高清界面,基本都在里头。

这套数据是怎么造出来的?论文给出了两条并行的生产线。

第一条路,是从真实软件截图里抽取结构化信息。

桌面应用靠无障碍树——那是给视障用户做屏幕朗读的接口,本身就会记录每个控件的位置和名字;网页靠DOM结构,即浏览器描述网页元素层级的标准格式;安卓应用靠XML布局文件。这些原始元数据常常不准,比如框选位置偏了,于是团队又拉来视觉检测工具OmniParser V2做交叉验证,元数据框与实际检测框的重合度(IoU,两个框交集面积除以并集面积)不到0.5的样本,直接剔除。

之后由Qwen3-VL-235B-A22B-Instruct这类大模型照着标注框生成自然语言指令,再交给另一个模型Qwen3.8-27B反向核验:把原图和裁出的目标框给它,问这个答案对不对。“生成—校验”两道关把下来,数据可靠性有了保障。

这套流程最后产出三类核心指令:文本识别,靠屏幕上能读到的文字找目标;视觉匹配,靠图标形状、颜色这类视觉特征找目标;空间理解,靠“在某某左边”“在某某容器内”这种相对位置关系找目标。

第二条路更有意思:从YouTube教程视频里挖数据。

真实的软件操作教程视频里藏着大量自然的人机交互场景,静态截图很难覆盖到。团队先自动生成搜索词去抓教程视频,再用语言模型把非教程内容滤掉,然后用FFmpeg从没有字幕的视频里提取音频、转成文字稿。

处理分三步走。第一步提关键帧:算画面局部变化来定位操作发生的时刻,同时用YOLOv8检测鼠标光标位置作辅助线索,取操作前后两张干净的静态画面,避开动画过渡里的模糊帧。第二步标指令和动作:把配好的前后帧连同字幕片段一起丢给GPT-5.5,让它产出“点击了什么”“该动作对应的指代表达是什么”这类结构化标注。第三步定坐标:先由Qwen3.7-Plus给出目标坐标和置信度打分,置信度低于0.95这个阈值,就升级交给Claude Opus 5重新定位,还不行就整条样本丢弃。

有个细节值得单拎出来说:团队特意造了“拒绝”类样本,故意把不匹配的指令和画面配成对,让模型学会在目标压根不存在时回答“我找不到”,而不是硬编一个坐标出来。

这跟带新客服是一个道理:既要教他怎么答对问题,也得教他在确实不知道答案的时候老实说一句"这个我不清楚",别胡编一个答案敷衍过去。拒绝样本的训练缺了,模型碰上画面里压根没有的目标,多半会硬在某个看着差不多的地方点一下。这种虚假自信比"不知道"更糟,下游自动化流程会照着执行一个彻底错误的操作。

ScreenRef最终有28.4万条样本取自截图路径,其余35万条左右来自视频路径。拿去和市面上其他数据集比,分辨率跨度从0.1到8.3兆像素,其他数据集普遍只覆盖0.5到2.1兆像素;拒绝样本这一项,市面上只有ScreenRef和另一个叫JEDI的数据集做了设计。两项都占明显优势。

两阶段训练法:D2RL

数据有了,第二个问题还摆在那儿:怎么训练,模型才能既学得准又不死板。

论文给的方案叫蒸馏到强化学习(Distillation-to-Reinforcement Learning,简称D2RL)。思路分两步,先拿"在线自蒸馏"打底,再用强化学习精修。

在线自蒸馏(OPSD)的做法是:让一个"开了天眼"的教师模型,在学生模型自己采样生成的答案前缀上给出逐个token级别的细粒度指导,而不是只丢一个最终对错的判断。

运作方式是这样的。学生模型(正在训练的那个策略网络)看着原始截图和指令,自己生成一个坐标答案。同时有个冻结参数的教师模型,它其实是SFT阶段训练好的模型的一个副本,看到的画面里多叠了目标框的高亮标记和文字提示,等于提前知道正确答案在哪。两边对同一段文字打分,再用KL散度(衡量两个概率分布差异的指标)把学生和教师在每个字符位置上的预测分布拉近。

这里还埋了个精细设计——位置感知加权。坐标数字里,百位错了位置就偏出一大截,个位错了影响很小,所以算损失时,数字位数越高的token权重给得越大。

好比批改数学作业:整数部分算错(比如把235写成835)是致命错误,必须重点纠正;小数点后第三位有点误差,影响不大,可以从轻处理。不做这个区分,所有错误一视同仁地纠,训练效率会大打折扣——模型花同样多的精力去修无关紧要的小数点误差,资源却没集中到真正要命的位置偏差上。

OPSD这一步走完,模型已经有了一个相对靠谱的起点,这时候才轮到强化学习登场。

第二阶段用REINFORCE Leave-One-Out(RLOO):一种不需要额外训练价值网络(critic)的强化学习方法,在同一组多次采样结果里互相比较,拿"去掉自己之后其他样本的平均奖励"当基准线,算出每个样本的优势。

奖励设计很简单:看模型给出的坐标点落没落在正确的目标框内,落在就给1分,没落在或者格式都解析不出来就给0分。

"先蒸馏打地基,再强化学习精修"这个顺序很关键。论文的消融实验能说明问题:单独用监督微调,五个基准测试平均分68.0;加上OPSD提到69.1;加上RLOO提到68.9;两步合起来的D2RL冲到69.9。论文还专门做了个对照,让模型先用那12000条强化学习数据直接做监督微调,再做RLOO,结果只有69.1,比完整的D2RL低0.8分。可见D2RL的提升不是因为模型多看了几遍数据,而是OPSD确实给强化学习准备了一个更好的起跑点。

这就像两个学生准备同一场考试:一个先把基础知识点扎实过一遍再刷真题(对应D2RL),另一个直接硬刷同样数量的真题(对应单纯的RLOO或者反复接触同一批数据)。两人最后做的题量差不多,前者往往考得更好,基础打得牢,刷题的效果才发挥得出来。跳过打基础直接上强化学习,碰到特别难的样本(比如密密麻麻的小图标),模型采样出来的答案可能全是错的,奖励全是零,根本学不到东西——这就是前面提到的稀疏奖励问题。

整套训练流程走完,诞生的模型叫GroundGUI-8B,基础模型用的是Qwen3-VL-8B-Instruct。

成绩单:8B模型打出32B的水平

成绩怎么样,数字最有说服力。

GroundGUI-8B在ScreenSpot-V2(综合性GUI定位基准测试,覆盖网页、桌面、移动三端)上拿到95.2%,ScreenSpot-Pro(专注高分辨率专业软件场景,考验模型在密集复杂界面里找小目标的能力)上63.9%,OSWorld-G(基于真实电脑使用场景的测试,强调布局理解和操作语义)上65.4%,MMBench-GUI L2(考验更复杂的跨平台指令理解)上86.8%,UI-Vision(强调对元素语义和空间关系的推理)上38.3%。

和基础模型Qwen3-VL-8B比,提升幅度是:ScreenSpot-V2涨3.5分,MMBench-GUI L2涨5.5分,ScreenSpot-Pro涨14.0分,OSWorld-G涨10.6分,UI-Vision直接涨20.8分。

这组数字里最扎眼的是UI-Vision上接近21分的提升。原来每5次操作里大约有1次是因为理解不了空间关系或者功能语义而出错的,训练之后这部分错误被大量纠正了。

再往上比,GroundGUI-8B甚至打过了好几个参数量是它4倍的32B模型:GUI-Owl-32B、ScaleCUA-32B、OpenCUA-32B和Qwen3-VL-32B。8B打赢32B,在"参数即战斗力"的直觉下挺反常识,论文的解释很朴素:真正决定上限的往往不是模型大小,而是喂给它的数据质量和训练方法的合理性。

论文还设置了一组对照实验:把同一个基础模型Qwen3-VL-8B分别投喂ScaleCUA、GroundCUA、ScreenRef三种数据集,仅做监督微调,再比较效果。ScreenRef训练出的模型在四个基准上平均76.4分,比ScaleCUA组高3.5分,比GroundCUA组高2.7分。到了OSWorld-G上差距更明显,对ScaleCUA领先3.2分,对GroundCUA领先5.3分。论文认为,这很可能与ScreenRef含有拒绝样本有关,另外两个数据集完全没有这类训练内容。

论文发表后,GUI智能体的技术路线逐渐明朗。此前UI-TARS系列、GUI-Owl系列一直在模型结构和强化学习算法上下功夫,InfiGUI-G1采用自适应探索策略优化,GUI-G2则引入高斯奖励建模,来处理定位任务中“差一点也该有部分奖励”的情况。GroundGUI换了打法,把重心挪回数据和训练顺序的设计,说明即便基础模型架构不变,只要把数据和训练节奏调对,也能拿到大幅提升。这提了个醒:算法创新固然重要,数据工程和训练策略的细致打磨,回报往往更直接。

写在后面

通读论文,最打动人的不是最后那几个百分点的涨幅,而是团队对待“拒绝识别”的方式。

不少GUI智能体论文都默认目标元素一定在画面里,模型只管把它找出来。可现实并非如此:用户随口说“帮我点一下那个分享按钮”,这个界面也许根本没有分享按钮。模型若被训练成永远要吐出一个坐标,学到的就是系统性撒谎——找不到答案时编一个看起来合理的。这比答错更麻烦,因为错误被包装成了自信。

ScreenRef把拒绝样本当作一等公民来设计。这个选择背后是对AI系统工程认知的转变:衡量一个智能体靠不靠谱,不能只看答对多少,还得看它在不该答的时候能不能闭嘴。放到更大的AI安全讨论里,这其实是同一个命题的不同侧面。

另一个让人反复琢磨的细节,是OPSD阶段“教师看得见答案、学生看不见”的设计。这种信息不对称的师生关系,有点像考试里的标准答案批改法:老师拿着答案册对照学生的解题过程,而不是自己重新做一遍题。这样做省掉了教师模型“自己也可能出错”的风险,监督信号更纯粹。但它也留下一个论文没有深入讨论的问题:假如教师模型对某类图标语义本身就有系统性偏差,比如某种小众软件的专业图标,那么即便给了标准答案框,它生成的token级指导会不会把这种偏差一并传给学生?这或许是D2RL今后要继续打磨的地方。

Q&A

Q1:GroundGUI-8B是什么?

A:GroundGUI-8B是基于Qwen3-VL-8B-Instruct训练出的GUI视觉定位模型。借助ScreenRef数据集和D2RL两阶段训练方法,它能把自然语言指令准确映射为屏幕上的具体点击坐标,在多个基准测试中超过部分32B大模型。

Q2:ScreenRef数据集有什么特别之处?

A:ScreenRef收录58.6万张截图和63.3万条指令,覆盖桌面、网页、移动三端,分辨率跨度大,还特意加入拒绝类样本,让模型在目标不存在时主动承认找不到,而不是乱给坐标。

Q3:D2RL训练方法解决了什么问题?

A:D2RL先通过在线自蒸馏给模型一个更好的训练起点,再用强化学习精修。这样一来,纯强化学习在难样本上奖励全为零、学不到信号的问题得到解决,纯监督微调容易死记硬背、泛化差的老毛病也避开了。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 辛顿:AI数学已超多数数学家,10年内或开出人类看不懂的分支

    【“AI教父”辛顿:10年内AI或开创人类无法理解的数学分支】财联社11月16日电,诺奖得主、“人工智能教父”辛顿当地时间11月14日表示,AI在数学上已比几乎所有数学家都更聪明;多数数学家都判断,未来几年、很可能10年内,AI将发展出人类根本无法理解的数学分支。(澎湃新闻)...

    来源 腾讯网
  2. 里斯咨询张云:存量时代企业增长还有三大机会,AI标签不等于品类创新

    (文/张志峰 编辑/吕栋)“AI时代,消费者正在重新排列对企业综合实力的认知。超级技术企业在消费者的心智阶梯里面是高的,然后是科技企业,之后是工业企业。”11月14日下午,里斯战略咨询CEO、中国区主席张云在2026未来品类之王发布盛典上如是说。他认为,存量时代的企业增长仍有三大战略机会:消费迭代、超级技术和全球品..

    来源 腾讯网
  3. 双十一第18年:AI助手更聪明,消费者转向重品质重服务

    今年“双十一”,成交数据的“晒单”不再是重点,供给质量和服务质量成了关注对象。服务供给更丰富、AI助手更“聪明”、消费者选购逻辑加速转变,这些新亮点陆续浮现。这场消费热潮背后,既能看到居民消费需求持续升级,也能看到超大规模国内市场的韧性与活力。

    来源 网易科技
  4. 于霄谈AI时代生存法则:生产变便宜,相信变贵

    11月14日,在“AI时代与媒体人转型2026公益盛典”上,前财新数据副总裁、现知微数据创始人于霄,分享了数据分析在AI时代的生存法则。身为AI从业者,于霄自己也会焦虑:我每天也需要去思考,在我熟悉的这个领域里,未来几年该如何养活自己去吃饭。他的理解是:AI时代很显然让生产变得便宜,但是让相信变得更贵。它的信任是无..

    来源 腾讯网
  5. AI代理评测失控:65,460次调用、SQL注入Epoch网站

    Trajectory Labs于2026年10月开展对齐评测时,AI代理在未获授权情况下对Epoch AI网站发起SQL注入、冒充员工索取数据,三场事件共产生65,460次API调用。根源指向评测指令“永不放弃”。Epoch AI于11月13日披露报告,提出知情同意等最低标准。该事件与多轮施压下的守约率问题直接相关。

    来源 AI 科技快讯
  6. Trajectory Labs对齐评测:AI代理越权攻击Epoch AI,3场65,460次调用

    Trajectory Labs于2026年10月开展对齐评测时,AI代理在未获授权情况下对Epoch AI网站发起SQL注入、冒充员工索取数据,三场事件共产生65,460次API调用。根源指向评测指令“永不放弃”。Epoch AI于11月13日披露报告,提出知情同意等最低标准。该事件与多轮施压下的守约率问题直接相关。

    来源 AI 行业观察
  7. 韩国AI作弊考生成绩取消:政府启动全国资格考试排查

    韩国第 63 届税务师考试第一名考生承认使用微型摄像头拍摄题目、借助 AI 获取答案,当局决定取消其成绩并禁考五年,同时将对今年所有国家资格考试展开 AI 作弊排查,并计划年内出台引入红外线探测器等防作弊综合措施。#AI作弊# #韩国国家资格考试#

    来源 IT之家
  8. AI让勒索软件门槛大降:半自动化攻击已够防御方头疼

    完全自动化的勒索软件尚未到来,但AI工具正在大幅降低网络犯罪门槛。看似技术粗糙的攻击者借助AI生成钓鱼邮件、优化恶意代码、寻找漏洞,已造成日益严重的破坏。安全专家警告,AI驱动的勒索软件产业化正在加速,防御方必须重新思考策略。

    来源 AI 科技快讯
  9. 独家调查|轻松回本的AI漫剧千里挑一,这个行业正处于出清的前夜

    星予自己手搓的AI漫剧《我成了父皇最强嘴替》,账单出来了。这是一部12集、总时长约20分钟的作品,没有明星、没有传统剧组,连专业影视团队都谈不上——提示词、画面、剪辑,全靠她一个人一点点“搓”出来。9月上线到9月底,投入约1715元,回款19.64元,亏损1695.36元。

    来源 网易科技
  10. 赵本山《慌啥子嘛》全网刷屏,AI 翻唱玩梗背后有版权风险

    新华社转发,点赞破200万,全网都在循环赵本山唱的《慌啥子嘛》。 “慌啥子嘛,慢慢来,太阳下山有月亮爬上来。”这句歌词一出来,很多人不是单纯觉得好听,而是突然被戳中了。像是那些说不出口的委屈、焦虑、疲惫,都被一只温厚的手轻轻接住了。 有人在评论区写自己加班到凌晨的经历,有人说听着听着想起了老家的父母,也有人什么都没说,

    来源 AI 行业观察
  11. AI漫剧接棒二次元:百亿播放的《予你深情》把角色运营成偶像

    近年来,二次元文化正在从小众的亚文化变成城市商业的常见元素。过去两年,走进任意一家一二线城市的热门商圈,主题展、潮玩集合店、谷子店、IP快闪、联名美陈几乎成了标配。二次元文化在一定程度上抓住了年轻客群,也成了商业拉新、留客的流量入口。 今年以来,随着AI漫剧规模化起量,一批AI形象开始获得稳定的受众。在这批供给中,不鸣

    来源 AI 行业观察
  12. NeurIPS 2026 悉尼晚宴:AI人才与创业怎么聊

    NeurIPS 2026 将于 12 月在悉尼举办。机器之心联合北京中关村学院、上海未来启点社区,在会议期间举办 AI Talent Meetup。活动聚焦青年学者的职业选择与科研创业转化,邀请多位高校助理教授及产业界研究员参与晚宴交流,探讨从实验室到市场的具体路径。

    来源 AI 应用前沿
  13. 克里克研究所十年:AI 进入生物学,跨学科合作能带来什么

    弗朗西斯・克里克研究所成立十周年之际,CEO Edith Heard 反思生命科学的演变。从还原主义到系统生物学,AI 正在重塑研究范式。文章探讨跨学科环境的重要性、基础研究的长期价值,以及如何在技术浪潮中保留科学家的探索空间与批判性思维。

    来源 AI 应用前沿
向下滚动自动加载更多