OpenMobile-2:手机智能体为何总在真实App里“装样子”?

资讯 腾讯网 作者:科技行者 全文 5242 字 · 约 14 分钟读完 分类美团开源智能体手机

你有没有试过让AI帮你操作手机,结果它在淘宝界面里滑来滑去,点错按钮,然后陷入死循环?这不是段子。这是目前几乎所有开源手机智能体的真实困境。它们在实验室里的测试App上表现不错,一旦放到真实的商业App,比如淘宝、携程、美团,就开始手足无措。问题出在哪?不是模型不够聪明,是它们压根没见过真正复杂的商业App长什么...

所属频道 大厂动态智能体与 AgentAI 硬件与终端开源生态

让AI替你操作手机,它却在淘宝里来回乱滑、点错按钮、卡进死循环——这种场面你碰到过吗?

这并非玩笑,而是当下几乎所有开源手机智能体面临的真实处境。在实验室的测试App上它们表现尚可,可一旦进入淘宝、携程、美团这类真实商业App,就立刻变得手足无措。

症结不在模型不够聪明,而在于它们从未见过真正复杂的商业App是什么模样。

**根子上的原因:训练环境过于简单,手机智能体因此一直落后**

南京大学、商汤科技、港大等多家机构联合发布的一篇论文,把这个难题摆到了明面上。他们提出的方案叫

先把难点说清楚

要训练一个会操作手机的AI,第一步得给它一块“练手”的地方。

可现实中的App,比如真实的淘宝、携程,并不能随便拿来训练。让AI在真淘宝里乱点,万一真的下单付了钱怎么办?即便不付钱,每次测完都得把账号恢复到初始状态,这个“重置”代价高得惊人。

> 真机测试*:指直接在物理手机或安卓模拟器上运行真实App进行智能体训练和评估的方式。

打个比方,你想培养赛车手,却只能让他开着你的真车上路练。撞一次就得掏钱修,练完还得把车还原,这成本谁受得了?

于是,过去的研究者想了个招:造“仿真App”。不用真实App,而是自己写一个功能相近的仿制版,这样就能随意重置,还能并行跑成百上千个实例。

可新问题又冒出来了。此前最好的仿真环境

结果就是,AI在简化环境里练出的本事,一放进功能丰富的真实App就不够用。好比一个只在空教室里练过挥拍的网球选手,突然被扔进真正的赛场,面对对手各种战术变化,当场就懵了。

研究团队用一组数据说明差距有多大:在他们新造的35款商业App里,中位数应用拥有37个页面路由、166个可交互动作、86次页面转换,从首页进入到任意功能的平均深度是3层。相比之下,此前

这可不是“做得更精细”那么简单,而是把仿真App的复杂度真正拉到了接近商业App的水平。

MobileGym++

研究团队做的第一件大事,是构建了

这35款新建App横跨旅游、购物、金融、内容、社交、办公、本地生活七大领域,加上原有的28款,总共凑成了63款可安装的

>

这些App并非随便画几个界面应付了事。团队的做法很严谨:先从真实App的数据结构和交互图谱出发,在动手画界面之前就把整个App的“业务骨架”定下来,包括有哪些页面、哪些动作会触发什么样的状态变化。随后再由人工标注员反复比对仿真版与真实App,直到界面细节和状态跳转都高度吻合。

每款交付的App还要过两道关:一是覆盖率检查,确认每个声明的交互点位都真的实现了;二是核心流程回放检查,确认每次状态跳转真的产生了预期的变化。

这让我联想到小时候那种“过家家”玩具,像仿真收银机。廉价版本随便按几下只响一声叮,里头没什么真逻辑。高仿真的就不一样了:按下“找零”键,它会实打实算出差额,再把对应金额的抽屉格弹出来。

**这些仿真App最关键的特性是:每个App都维护着自己的

订单、预算、行程这些状态会随着交互不断演化,并且支持程序化的任务验证。也就是说,你让AI完成“在携程订一张明天去上海的机票”这样的任务,系统能自动判断它到底有没有真的下单成功,不需要人工用肉眼去检查。

跨应用协作

平时用手机办事,很少只打开一个App就能搞定。

订酒店就是个例子:先在小红书翻别人的推荐,再切到携程下单,付款那一刻又跳到支付宝。真实用户办事,跨App来回切换才是常态,可过去的单应用基准测试压根测不出这种复杂度。

MobileGym++针对这类场景做了专门设计,剪贴板传递、App间分享、支付跳转、媒体选择都在其中。所有App运行在同一台可重置的虚拟设备上,整机状态能够被完整序列化,也能还原回去。

打个比方,家里装了智能家居,灯光、空调、门锁各干各的,却共用同一个“家庭状态”数据库。你设了离家模式,所有设备得同步响应,不能各管各的。缺了这套共享状态机制,AI在A应用里复制的信息,到B应用就粘不进去,跨App任务自然跑不通。

靠这套机制,研究团队设计了

混合界面:App开始主动给AI递“说明书”

整篇论文里,这个设计我觉得最有意思。

以往手机智能体干活,路子基本就一条:看屏幕截图,再模拟点击、滑动、打字,和人的手指戳屏幕没差别。这种办法叫

> GUI*:图形用户界面,指通过图标、按钮等可视化元素供用户操作的界面形式,与之相对的是命令行或API这类结构化接口。

GUI操作胜在万能,理论上任何看得见的控件都能点到。可它的问题也摆在那儿:慢,还容易出错。让AI在淘宝搜一件商品,它得先点搜索框、输入文字、点搜索按钮,再从一堆结果里挑对的那个、点进详情页。哪一步都可能点歪。

研究团队于是换了个思路:让App主动暴露一部分“结构化接口”,与GUI操作并行使用。

>

落地方式是这样的——MobileGym++给50多款App配了超过300个这类工具。健身类App里有名为search_course的工具,淘宝里则有taobao__search_items、taobao__add_to_cart这样的工具函数。

这让我想起去餐厅点餐。进一家没去过的店,菜单全是文字,你得一页页翻、逐道研究配料,这就是纯GUI操作,通用但慢。要是店家给你一套结构化点餐系统,填上“辣度”“忌口”“预算”几个参数,推荐直接出来,快是快多了。代价也有:系统只认它预设的那几类菜,菜单上没有的隐藏菜品,它点不了。

**所以真正聪明的做法不是二选一,而是把两种方式结合起来用**

能用工具快速解决的部分交给工具,工具覆盖不到的地方退回GUI操作,这正是MobileGym++想验证的“

设计工具时,研究团队守住一条原则:每个工具暴露的,都是对应用自身业务对象的结构化查询或写入操作,语义上和对应的GUI操作完全等价。工具调用与GUI操作改的是同一份持久化状态,成败也用同一个终止条件判定。这样设计的好处在于,完全相同的任务上,“纯GUI操作”和“GUI加工具混合操作”孰强孰弱,可以公平比一场。

训练数据:近1.2万条轨迹,2000多个可执行任务

环境有了还不够,模型得靠数据喂。

研究团队发布了

>

>

数据从哪来?研究团队先为每款App画一张“状态-动作转移图”,把App里所有可能的页面状态、以及触发状态转换的动作都理清楚。再让Gemini-3.1-Pro-Preview这个大模型照着图生成真实可执行的用户指令,例如“帮我在携程上订一张明天去北京的高铁票”。

随后,同一个大模型充当“教师智能体”,真刀真枪去执行这些指令,逐步记录操作过程。只有真正完成任务并通过验证的轨迹才留下;那些瞎点乱滑、把App状态搅得一团糟却没完成任务的失败记录,一律过滤掉。

这个数据集最值得说道的,是它的多样性控制。研究团队用

生成的任务指令到底够不够多样,团队也做了检验:两两之间的平均余弦相似度仅为0.43,可见这些指令确实各不相同,并非在反复套用相似模板。

另外,30%的轨迹涉及跨App操作(安卓模拟器上是40%,

训练出来的模型,到底强在哪

环境和数据备齐之后,要看的自然是训练结果。

研究团队拿这套数据,对90亿参数(9B)和270亿参数(27B)两种规模的Qwen基座模型分别做了训练,由此得到

先看最基础的那组

| 模型 ||------|------|| 9B基座模型(未训练) | 54.3% || 9B + GUI-only SFT | 72.8% || 9B + Hybrid SFT + RL | **74.0%** || 27B基座模型(未训练) | 67.1% || 27B + GUI-only SFT | 80.8% || 27B + Hybrid SFT + RL | 79.9%(但 |

算下来,9B模型涨了19.7个百分点,27B模型涨了12.8个百分点。这个幅度是什么概念?原先差不多每4次任务就有近2次失败,训练后失败率降到约四分之一。

真正的考验在真机上。

**27B模型在真机测试中从训练前的31.9分升到59.6分,接近翻倍**

这个数字出乎我的意料。仿真环境里练出来的本事,搬到完全不同的真机上,按常理该打折扣。可实际结果摆在这里:这套训练办法确实穿过了仿真与真机之间的那层隔膜。说白了,研究团队搭的仿真环境抓住了真实App交互的某种“共性骨架”,并非只做到表面相像。

混合工具使用又是另一番景象。在

有个细节得单独拎出来说:MobileWorld的MCP测试里,那些工具在训练时压根没见过,混合训练后的模型拿到27.5%和45.0%,只练GUI的模型则只有12.5%和35.0%。

> MCP*:Model Context Protocol的缩写,一种让AI模型能够调用外部工具和服务的标准化协议。

这说明一件要紧的事:混合训练教给模型的,不是“记住这300个具体工具怎么调”,而是一种更抽象的本事,即“该掏工具还是该用手指戳屏幕”的判断力本身被学会了。好比带新员工用公司系统,只让他死记每个按钮的位置,换套系统就抓瞎;可要是教会他“批量查询走筛选器,单条修改进详情页”这类判断逻辑,换了系统照样能很快上手。

再往深一层看:环境覆盖面够不够广,比数据总量更要紧

论文里还安排了一个挺有意思的控制实验。

把训练数据总量固定在2000条轨迹,只动这些轨迹覆盖的App种类数,从15款一点点加到53款。结果覆盖面越广,模型在“没见过的App”上表现越好,Pass@1从60.7%升到67.5%。

**更让人意外的是,哪怕“熟悉App”的数据占比从100%一路降到39.1%,模型在这些熟悉App上的表现也几乎没掉,只从73.7%微降到71.4%**

这给出一个挺反常识的结论:训练数据总量定死的情况下,把2000条轨迹全堆在15个App上反复练,不如摊开来覆盖更多App种类。

这有点像学外语。假如2000个小时全拿去精读莎士比亚,莎士比亚的句式你会烂熟于心,可一进日常对话或商务邮件的场景就卡壳。同样2000小时,若分一部分读新闻、看剧、翻说明书,每种材料花的时间是少了,迁移能力反倒更强,没见过的场面也接得住。不做这种广度上的投入,模型的本事就会被牢牢框在训练时碰过的那几个App里,换个新App马上现原形。

另一个发现跟工具使用的“激活条件”有关。研究团队发现,工具摆在那儿让模型用,它并不会自己就学会用得好。没做专门的混合训练之前,模型调用工具的任务只有215个任务中的20到102个,带来的提升也有限,仅2.8到4.2个百分点,个别模型还因为乱用工具导致表现下滑。

混合训练之后情况变了:工具调用覆盖的任务数升到113和128个,涉及的不同工具种类有110和115种。更关键的是,工具带来的性能增益涨到5.6和10.3个百分点,完成同一任务所需的步数平均少了4.8到5.8步。

可见“给出能力”和“教会怎么用能力”是两回事。好比让一个刚拿驾照的新手开手动挡赛车,车好不代表他能开快,真正让他变强的是针对这辆车的专门驾驶训练。

写在后面

论文读下来,让我意外的不是模型跑分涨了多少,而是“环境覆盖面比数据总量更重要”这个结论。

它其实指向一件更普遍的事:我们常以为数据越多越好,可真正起作用的往往是数据怎么分布、够不够多样,绝对数量倒没那么要紧。这个看法不只适用于手机智能体训练,很多场景都能套。

还有个细节我反复琢磨:把GUI和工具调用混在一起练,看着是工程上的取舍,背后却藏着一个更深的判断——**只求“通用”的接口(GUI)和只求“效率”的接口(API/工具),长期看不是谁替掉谁,而是会一直并存、互相补位**。

没解决的问题也摆在那儿。论文提到,强化学习带来的提升主要落在“训练环境高度对齐的评测”上,比如MobileGym自己的测试集涨了不少,换到其他基准就提升有限。也就是说,眼下的强化学习信号要真正泛化到任意场景,路还相当长。

手机屏幕就那么点大,可装在里面那个世界,比我们想的复杂得多。AI真想在这个世界里来去自如,缺的或许不是更聪明的算法,而是一个够真实、够丰富的练习场。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 张博开源Linger:零token费本地跑125B模型,12GB显卡够用

    11月19日,前DeepSeek-VL项目负责人张博在X宣布开源个人Agent Linger,开发主体是张博创办的SIMPLEX AI TECHNOLOGIES PTE. LTD.(以下简称“Simplex AI”),代码已上传GitHub。按项目文档,Linger读取本地邮件、日历和文件,操作用户已登录的浏览器;连接

    来源 腾讯网
  2. 亚马逊封堵AI购物助手,马斯克放话:也许该做个对手

    AI刚学会替你干活,亚马逊、摩根大通、嘉信理财就开始堵门了! 10月18日,@trikcode在X上列出了一份「AI碰壁清单」,点名达美航空、摩根大通、嘉信理财、Yelp和亚马逊。 他吐槽: 那些本该替我们搞定一切的AI智能体,开始被互联网挡在门外。 人愿意买,AI愿意跑腿,但最后一公里却卡在了平台不肯放行上! 而亚马

    来源 AI 行业观察
  3. OpenAI开放GPT-Live-1.1 API:语音智能体可边聊边干活

    IT之家 11 月 20 日消息,OpenAI 今日宣布向开发者开放 GPT-Live-1.1 API 语音模型,允许第三方开发者将其集成到自己的应用程序中,构建能够实时聆听、回应并执行复杂任务的 AI 语音智能体。 据 OpenAI 介绍,GPT-Live-1.1 是 GPT-Live-1 的升级版本,具备全双工语音

    来源 AI 行业观察
  4. 华为OSTA星芒推首款鸿蒙AI手机OSTA O1 Pro,主打系统级智能体小艺

    现在请你张开左手,略微用力仔细抚摸小指头第二节的内侧,大概率会摸到一个凹槽,这是我们长时间使用手机时用小指头当做支撑点留下的印记。这种可触摸的印记要比手机对我们大脑留下的改变更为直观,亦是人在使用手机,手机反过来塑造人的小小例证。类似的,在《人类简史》里,作者提了一个有点反常识的观点:看起来是人类驯...

    来源 腾讯网
  5. Gemini 4 翻身记:SemiAnalysis 补交道歉表,Hassabis 接梗

    曾断言 Gemini 掉队的研究机构 SemiAnalysis,在 Gemini 4 系列密集发布后向 Google 公开致歉。文章梳理 DeepMind 的组织调整、算力分配与长期研发积累,解析真实工程任务驱动的后训练如何提升编程和智能体能力。

    来源 爱范儿
  6. OpenAI首款AI硬件揭秘:苹果班底操刀,富士康立讯分食订单

    OpenAI确实是挖到苹果的「大后方」了。 证券时报11月19日一早就援引供应链消息指出,富士康旗下富智康集团(FIH)已经获得OpenAI手机项目订单,将参与相关产品的整机组装。事实上,前一晚每日经济新闻也援引供应链人士表示,立讯精密目前与OpenAI有多个产品的全面合作,「或因资源配置的统筹考量未承接手机组装业务。

    来源 AI 行业观察
  7. 工业AI进产线:单次推理0.3元起,2000家客户已用上智能体

    《科创板日报》11月20日讯(记者 余诗琪)“以前要靠人工完成的流程,需要几个小时,现在用智能体,9到12分钟就能完成。”11月19日,在武汉举行的2026中国5G+工业互联网大会上,黑湖科技联合创始人肖哲给出了一组工业智能体的应用数据:单次推理成本约0.3元至1元,目前已有约2000家客户使用其工业智能体。工业AI的

    来源 腾讯网
  8. 只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍

    IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。 在一项 SWE

    来源 AI 行业观察
  9. Gemini 4 翻身背后:SemiAnalysis 填表道歉,Hassabis 接梗回应

    Google DeepMind通过组织调整、算力重新分配和训练体系升级,在短短七周内连续推出四款Gemini 4模型。依托大规模预训练、多线并行研发和真实工程场景的强化学习训练,Gemini在编程和Agent能力上实现突破,重返行业第一梯队,此前唱衰Google的SemiAnalysis也公开致歉。

    来源 华尔街见闻
  10. 华为星芒OSTA O1 Pro:5499元起,16G版全平台售罄

    IT之家 11 月 21 日消息,首款为 AI 而生的鸿蒙手机 —— 华为星芒 OSTA O1 Pro 已于昨日下午正式发布,首发价 5499 元起、叠加国补后 4999 元起。▲ IT之家开箱:华为全新子品牌星芒 OSTA O1 Pro 手机实拍IT之家注意到,华为星芒品牌总经理刘赫已开通微博,并在 00:10 发文

    来源 腾讯网
  11. 香山开源处理器核:从雁栖湖到昆明湖,企业为何开始把它装进芯片

    在2026年11月的集成电路设计业展览会(ICCAD-Expo 2026)上,北京开源芯片研究院的展台里展示了搭载进迭时空CPU芯片V100的RISC-V服务器,V100是业内首颗完整符合RISC-V服务器规范的计算芯片,代表着RISC-V正在迈向真正可部署、可规模化应用的数据中心市场。这颗芯片内集成46颗RISC-V

    来源 AI 行业观察
向下滚动自动加载更多