边缘模型何时该求助云端?这篇论文研究边云协作长任务

资讯 腾讯网 作者:科技行者 全文 5531 字 · 约 14 分钟读完 分类手机学术研究

你有没有遇到过这种情况:手机上装了个AI助手,让它帮你订个会议、查个邮件,结果它要么卡在那儿不知道怎么办,要么干脆把你的邮件内容一股脑发到了不知道哪个服务器上去处理。这不是你的错觉。这正是这篇论文想解决的事。**手机里跑的AI,先天就比较笨**现在的手机、平板这类边缘设备,为了省电省内存,跑的AI模型普遍不大...

所属频道 AI 硬件与终端前沿研究

手机上的AI助手帮你订会议、查邮件,是不是常碰上两种尴尬:要么它愣在原地不知下一步怎么走,要么把你的邮件内容原封不动传到了某个说不清的服务器上。

这还真不是错觉。这篇论文要处理的,正是这个问题。

手机本地跑的AI,天生就差一截

如今手机、平板这类设备

云端大模型本事大得多,可每调用一次都得把数据送出去,传输延迟不低,费用也不便宜。更头疼的是,邮件、日程、聊天记录这些私密信息也跟着一块儿出去了。

行业里顺理成章的思路就来了:让小模型和大模型搭班子。简单的留在手机本地办,搞不定的再丢给云端。听着挺美,但问题是,以往几乎所有相关研究都把这件事看得太简单了。

长任务中,云端参与不是一锤子买卖

这里头有个关键区别得先说明白。

边缘模型是什么?就是跑在手机、平板这类本地设备上的轻量大语言模型,参数量一般控制在100亿以内。好处是响应快、断网也能用、数据留在本机;短板则是能力有上限。

云端模型

过往研究基本都把“用不用云端”当成一次性决定:来一个问题,估一下难度,简单的本地做,复杂的直接甩给云端,一次定完就结了。这种模式有个专门的名字。

>

可真实的AI代理任务,哪是一问一答那么干脆。

比如让AI“整理这周的会议安排,再发邮件通知所有人”,这活儿可能得拆成十几个步骤:读邮件、查日历、比对时间、写草稿、发送确认。每步难度都不一样,有的步骤边缘模型轻松拿下,有的步骤它压根摸不着头脑。

若只能在任务开头做一次路由决定,那这个决定要么过于保守——后面明明有简单步骤也全推给云端;要么过于冒进——前面简单步骤过得顺,后面突然卡壳却没法求助。

这就好比上医院看病,挂号时护士只瞄一眼你填的症状表就定下科室,之后检查结果怎么变,你都只能在这个科室里耗着。要是检查中发现情况复杂、需要转诊专家,可系统根本没设计“转诊”这一环,后面的诊断质量可想而知。

论文点出的核心空白正在这儿:现有评测体系几乎都在研究“一次性路由决策准不准”,却没人系统研究,当云端参与变成贯穿整个任务执行、走走停停的事情时,会引发怎样的连锁反应。

三个问题,串起整篇论文

研究团队把这件事拆成了三个层层递进的问题。

第一,边云协作这种模式,放到真实长任务场景里到底值不值?这得把任务完成得好不好、花了多少资源、泄露了多少隐私三个维度放在一起权衡,不能只盯一个指标。

第二,边缘模型自己变强之后(比如从20亿参数升级到270亿参数),协作执行会有什么变化?边缘模型越强,云端是不是就越没必要掺和?

第三,边缘能力既然在变,协作的“打开方式”是不是也得跟着变?原来适合弱边缘模型的协作策略,搁到强边缘模型身上还灵吗?

为了回答这些问题,研究团队搭了一套叫

评测台是怎么搭起来的

要研究边云协作,先得有一批能真正“跑起来”的任务,而不是那种一问一答就收场的测试题。

研究团队从六个现成的代理任务评测集里(包括Claw-Eval、WildClawBench等)挖出一批候选任务,这些任务都要求AI在模拟的数字工作环境里,通过操作邮箱、日历、文件系统之类的应用,完成一个有明确目标、结果可验证的复杂工作。

任务有了,还得挑。团队先拿纯边缘模型和纯云端各跑一遍,把能区分两者差别的任务留下。

这套筛选办法其实挺有门道。好比出一张考卷,一道题不管谁用什么办法都做得对,或者谁都做不出来,那这题就区分不出水平高低。真正能看出方法差异的,是那种"土办法搞不定、高级办法能搞定"的题目。

一轮筛下来,留下128个可执行任务,场景铺开在办公日常、信息搜索、安全合规、开发运维、数据分析、自动化这六类里。

再往下是隐私标注,这块设计在整篇论文里算得上用心。

>

团队先把工作环境里原本就有的敏感信息标出来,再让大模型造一批逼真的合成敏感内容,塞进相关文件,同时保证任务目标和评判标准不受影响。之后还专门请人核验,看这些合成信息听着像不像真的、放的位置自不自然。结果内容真实度和位置自然度都拿到4.6分上下(满分5分),这批"假数据"想骗过真人的眼睛,难度不大。

任务和隐私标注齐了,评测系统就从三个维度给每次执行打分:任务完成度,看AI有没有把事做对、做全;资源消耗,云端这边数输入输出用了多少token、花了多少钱,边缘这边估一下做了多少浮点运算;隐私暴露,看有多少敏感信息单元被传到了云端。

**四种协作模式,对应四种"控制权"的分法**

论文测了四种边云协作策略,差别主要落在两件事上:谁来判断什么时候该叫云端,以及云端来了以后干什么活。

第一种叫

开跑之前,一个外部小模型(路由器)先读一遍任务描述,判断这活该归边缘还是归云端。只决定这一次,之后不再改,整个任务从头到尾都由选中的那个模型干到底。

第二种叫

这一种细一些,每一步都重新判一次,看任务描述加上已经执行过的历史,决定这一步是边缘模型上还是切到云端。路由器盯着边缘模型生成下一个词时有多"犹豫"(专业说法叫熵),犹豫得厉害就丢给云端。

第三种叫

这个思路有点意思:与其让外部路由器去猜,不如把决定权直接交回边缘模型。它手里备着一个"求助工具",哪一步觉得搞不定了就主动调用,把当前执行历史打包发给云端,云端接手生成下一步动作,做完再把控制权还回来。

第四种叫

一样是边缘模型自己决定何时求助,不过云端这回不动手,只出主意。边缘模型把问题递过去,云端返回些思路、提示或修正意见,边缘模型拿着建议自己拿主意,最后操作还是自己执行。

>

四种模式的差别,其实对应着一个挺朴素的生活逻辑。设想你在公司碰到个棘手问题,求助方式有两种。一种是公司派个分流员,按你报的问题类型决定把你转给普通客服还是专家顾问,定完你就只能跟着走。另一种是你自己判断,先试着处理,实在搞不定再主动去敲专家的门,专家要么直接替你把事办了,要么只支几招让你接着干。

走第一种,分流员不掌握你实际操作里碰到的细节,很容易误判——你能自己搞定的被转去麻烦专家,真卡住了反倒没及时转过去。走第二种,卡在哪儿你自己最清楚,理论上求助时机更准。可这依赖一个前提:你得有足够的判断力,知道什么时候真需要帮忙,而不是动不动就喊专家,或者该喊的时候死扛。

论文第三部分要验证的正是这件事:边缘模型的判断力,是不是真会随着自身能力变强而变强。

协作到底值不值?数字说话

先看第一个问题的答案。

论文用了四档边缘模型:20亿参数的Qwen3.5-2B、90亿参数的Qwen3.5-9B,这两个代表眼下主流的手机端部署规模;270亿参数的Qwen3.5-27B和更强的Qwen3.7-Plus,用来模拟未来更强的边缘模型。云端那边主要用GLM-5.3。

纯边缘跑起来成绩并不好看:20亿参数模型的任务完成度仅12.75%,90亿参数也只有39.12%。纯云端那边,GLM-5.3能到82.70%。两边差距摆在那儿。

问题就变成:协作模式能不能在这两极之间找到一个划算的落点。

拿20亿参数边缘模型配逐步路由来说,任务完成度从纯边缘的12.75%升到39.97%,涨幅相当可观,而云端开销只占纯云端执行的22.7%。

这个数字说明什么?

不用全程请一位专家顾问贴身跟着,只在关键节点问上几句,工作质量就能拉高两倍多,花掉的代价不到雇全职顾问的五分之一。这笔账算得过来。

研究团队没有停在“协作比两个极端都好”这类浅层结论上,而是接着追问:协作的提升是不是只因为把边缘和云端“按比例混合”了?换个说法,以边缘和云端的表现为线性插值画一条参照线,协作策略真能高过这条线吗?

答案肯定。多组协作配置的落点,在成本-性能和隐私-性能两张图上都压在参照线上方,收益超出了简单按比例混合的预期。可见协作并非只是“分摊”,它确实造出了额外价值——云端介入的时机选得准,能四两拨千斤。

边缘模型变强,风向跟着变

第二和第三个问题其实是一体两面,放在一起看。

边缘模型从20亿参数升到Qwen3.7-Plus级别后,最优协作配置的完成度从39.97%一路爬到76.84%,离纯云端的82.70%已经很近。边缘越强,协作执行越能摸到云端的天花板。

有个发现值得细琢磨:边缘模型越强,不同协作策略之间的性能差距反而收得越窄。

20亿参数时,四种策略里完成度最高与最低相差25.22个百分点,选错代价不小。换成Qwen3.7-Plus后,差距缩到3.67个百分点,选哪种似乎都差不多。

隐私暴露这条线却完全不按这个剧本走。

Qwen3.7-Plus这一档,四种策略的任务完成度只差3.67%,隐私暴露程度却拉开了66.23%。

两组数字并排看很扎心:边缘模型足够强之后,选哪种协作策略对任务完成度基本没影响,隐私安不安全却全看你选了哪种模式。好比两家餐厅味道相近,一家把点餐记录锁进保险柜,另一家写在黑板上任人围观,你进哪家?

这里有一件容易被忽略的事:性能趋同不等于风险趋同。当大家觉得“模型都差不多强,随便挑个协作方式”时,隐私这道题其实还空着。

控制权和角色分配这两个维度,又会随边缘能力怎么变?

边缘模型弱的时候(比如20亿参数),外部路由明显更靠谱:逐步路由39.97%,边缘控制委托15.86%。弱模型自己都分不清何时该求助,与其让它自己判断,不如交给专门的外部路由器把关。

不过这个局面会翻转。

边缘模型变强后,边缘自己做决定的效果逐步追上、甚至超过外部路由。云端扮演的角色也在变:弱边缘模型更依赖云端直接接管干活,强边缘模型反倒更愿意云端只给建议、自己动手执行。

反转背后有层挺深的逻辑。弱模型连“我哪里不会”都说不清,这时外部有个旁观者替它把关更稳妥;强模型已具备基本的自我诊断能力,外部路由器那套“一刀切”规则,可能还不如模型自己对当下执行状态的直接感知来得准。

强模型为什么更擅长自己判断?

这个转折点背后究竟是哪种能力在起作用?研究团队为此做了两组对照实验。

第一组实验叫

现实中并没有现成标准能判断"这一步该不该叫云端",团队为此搭了一个对照实验:先放任边缘模型自行决定何时求助,把它实际的调用频率记下来;再搭一条随机调用基线,调用次数保持一致,只把时机换成随机挑选。

两种做法拿到的云端帮助总量完全相同,差别只在时机——一个由模型自己挑,一个靠瞎蒙。

结果表明,20亿参数模型自主判断只比随机调用高1.2个百分点,差距很小,说明弱模型挑的时机跟瞎蒙差不多。可换到270亿参数和Qwen3.7-Plus,优势就拉大到3.0到4.4个百分点。

这背后的含义是:边缘模型越强,越能认出"这一步我真的需要帮助"的信号,既不会乱喊救命,也不会硬撑到底。

第二组实验围绕指令遵循能力展开,更有意思。团队从20亿参数模型出发,专门做了一轮针对指令遵循的强化学习训练,共600步;随后在固定的云端顾问模式下测试各训练阶段的表现——云端建议固定每五步介入一次,不由模型自己决定。

>

结果出现了一个挺有说服力的现象:指令遵循能力在训练中持续提升,模型纯边缘单独执行时的表现几乎没动,但在云端顾问模式下的任务完成度从24.8%稳步涨到28.8%。

也就是说,指令遵循能力并没有让模型变得更"聪明",而是让它更会"听劝"。云端给出建议后,模型能不能老老实实照做,而不是听完我行我素,恰好由这部分能力负责。

这就像带新人实习:有的新人悟性一般但特别听师傅的话,师傅一提点立刻改;有的新人反应快,师傅说完他该怎么干还怎么干。前者在有导师在场时反而进步更快,因为他真能把别人给的建议用上,而不是建议归建议、行动归行动。

论文走到这里,已经把边云协作从"笼统地说挺好"推进到"在什么条件下好、哪种模式适合哪种边缘能力、好在隐私和成本的哪个维度",算是扎实的一步。

但读完之后,有几个点挺值得继续琢磨。

论文选的

另外,隐私暴露的计算口径是"有没有被发送到云端",可现实里数据发出去之后,云端服务商怎么存储、会不会被二次使用,这些环节的风险论文并没有覆盖。这其实是另一层更深的隐私问题,值得单独拿出来研究。

另外,能听懂指令、以及判断何时该找人帮忙,这两样在论文里被认定是让边缘模型变强后协作效果提升的关键,可当下的主流边缘模型训练流程并没有专门朝这两个方向下功夫。也就是说,眼下那些小模型在“对话顺不顺”上可能拼得很凶,至于“该不该停下来求助、求助后听不听得进劝”,多半只是顺手带出来的结果。

如果以后有团队专门针对这两项能力去做训练,边缘模型会不会在更小的参数规模下,就提前达到现在270亿参数模型才有的协作水平?这个问题论文没有回答,但已经把问题提得很清楚了。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 华为OSTA星芒推首款鸿蒙AI手机OSTA O1 Pro,主打系统级智能体小艺

    现在请你张开左手,略微用力仔细抚摸小指头第二节的内侧,大概率会摸到一个凹槽,这是我们长时间使用手机时用小指头当做支撑点留下的印记。这种可触摸的印记要比手机对我们大脑留下的改变更为直观,亦是人在使用手机,手机反过来塑造人的小小例证。类似的,在《人类简史》里,作者提了一个有点反常识的观点:看起来是人类驯...

    来源 腾讯网
  2. 华为星芒发车:一路踏AI,一路铺鸿蒙

    作者|郑敏芳2016年10月14日,华为当年第1亿部智能手机正式下线,比2015年达成这一节点提前了两个月。坐稳1亿部手机的出货量之际,华为推出了一条全新的产品线nova,希望进一步打开年轻消费市场。十年后,华为再次迎来一个与“1亿”有关的节点。11月16日,第三方数据显示,华为HarmonyOS 5及以上版本累计装机

    来源 腾讯网
  3. 华为星芒OSTA O1 Pro为何选麒麟9030S?刘赫给出三大原因

    IT之家 11 月 22 日消息,首款为 AI 而生的鸿蒙手机 —— 华为星芒 OSTA O1 Pro 已于 11 月 20 日下午正式发布,叠加国补后 4999 元起。华为星芒品牌总经理刘赫也已开通微博,透露最受欢迎的 16G 版本已经在全平台售罄。▲ IT之家开箱:华为全新子品牌星芒 OSTA O1 Pro 手机实

    来源 腾讯网
  4. 短信里的AI代理争夺战:聊天框成新入口,隐私与平台依赖待解

    短信正在成为AI代理的新战场。TechCrunch梳理了一批可以直接“住进”手机短信里的AI代理,覆盖通用助手、家庭管理、旅行规划与工作协作等场景。相比需要单独下载的App,这类代理以对话为唯一界面,无需安装、上手门槛更低,但也在隐私、平台依赖与商业模式上面临不小的挑战。

    来源 AI 科技快讯
  5. VHA注意力机制:查询头减半、KV头压到2个,质量反而超过GQA-8

    你有没有想过,为什么现在的大模型越做越能处理长文本,但手机上跑起来却越来越卡?这背后藏着一个工程师们心知肚明却一直没彻底解决的矛盾。大模型在处理长文本时,需要把之前算过的键值对(Key-Value)存在显存里,这样下一个字生成的时候就不用重新计算前面所有内容。这个存起来的东西叫做KV缓存:大模型在生成文字时,...

    来源 腾讯网
  6. PremiseCheck研究:让AI审稿先拆断言再核对,成本能降多少?

    先说一个场景。你是一篇论文的作者,凌晨两点打开评审意见,看到这样一条: “这篇论文的可复现性有限,因为只在 Gopher 模型上做了测试,而这个模型既不开放 API 也不开放权重。” 你心里一沉,因为你们明明用的是 OPT-6B,而且附录里专门写了复现步骤。你去 rebuttal 里解释,评审可能不看,AC 大概也不会

    来源 腾讯网
  7. 谷歌SIM机制曝光:Gemini可继承Claude经验,新模型不再从零开始

    谷歌内部,或许真正实现了RSI! 从此,Gemini已能「继承经验」持续自我进化,Gemini新模型不再从零开始! 或许也正是这个原因,谷歌最近跟疯了似的不停发模型。 Gemini 4 Hydrogen才发布不到一周,更强的Gemini 4 Neon就来了。 答案,或许藏在谷歌与宾夕法尼亚州立大学深夜联合发布的一篇最新

    来源 AI 行业观察
  8. 谷歌论文:光改提示词智能体成功率反降,改运行框架升至40%

    调教 AI 智能体,惯用手法是反复打磨提示词。谷歌 11 月 17 日发表的论文却给出反直觉结论:只改提示词,智能体成功率反而从 5% 跌到 2.5%;而让优化模型直接改写其运行框架,成功率冲到 40%,足足 8 倍。 142 行代码,拆成四块逐个改 Harness 指包裹在模型外围的运行框架,负责

    来源 AI 开发者社区
  9. Meta掌上AI设备Muse Charm定价约300美元,指纹一碰即唤AI

    Meta 把 AI 的入口从手机屏幕搬到了口袋里。据《The Information》11 月 20 日披露,扎克伯格今年 9 月展示的掌上 AI 设备 Muse Charm 定价约 300 美元,约合人民币 2008 元,并随设备附赠最长 12 个月的 Verizon 5G 流量,即便没有 Wi-

    来源 AI 开发者社区
  10. 智元精灵G2进驻手机测试产线,蓝思科技与智元达成战略合作

    IT之家 11 月 21 日消息,智元创新(AGIBOT)与蓝思科技达成战略合作,于手机测试产线部署智元精灵 G2 机器人,数十台机器人同时进行测试工位自动上下料、测试设备交互等工作。 据介绍,精灵 G2 可实现手机产品全自动转运、智能分拨与高效上下料。对比传统自动化设备,精灵 G2 通用本体可兼容多条作业产线,大幅降

    来源 AI 行业观察
  11. 三星 One UI 9.5 天气应用测试 AI 提醒:出发前先看目的地天气

    手机天气应用向来是“你问我答”的工具——想看才点开,不看就安静躺在文件夹里。三星正打算改变这个被动姿态。据 SamMobile 11 月 19 日消息,One UI 9.5 首个 Beta 测试版中,天气应用正在酝酿一项 AI 升级:在你动身前往另一座城市之前,主动提醒先看看目的地的天气。 行程线索

    来源 AI 开发者社区
  12. GrapheneOS:谷歌被指施压摩托罗拉,阻挠第三方系统合作

    IT之家 11 月 21 日消息,GrapheneOS 官方账号在 Mastodon 平台发文,公开指责谷歌试图阻止 OEM 手机厂商与其合作,甚至施压手机制造商不要支持解锁 Bootloader(引导加载程序)。GrapheneOS 称谷歌曾多次主动联系 Android 设备制造商,询问对方是否正在与 Graphen

    来源 腾讯网
  13. 华为星芒 OSTA O1 Pro:16G 版本全平台售罄,12G 版本持续热销

    IT之家 11 月 21 日消息,首款为 AI 而生的鸿蒙手机 —— 华为星芒 OSTA O1 Pro 已于昨日下午正式发布,首发价 5499 元起、叠加国补后 4999 元起。 ▲ IT之家开箱:华为全新子品牌星芒 OSTA O1 Pro 手机实拍 IT之家注意到,华为星芒品牌总经理刘赫已开通微博,并在 00:10

    来源 AI 行业观察
  14. AI+文化重塑广东产业边界:爆款频出,2025年营收超2.7万亿

    南方财经记者谭砚文 AI重构文化产业范式与商业逻辑的故事,正在不断上演。 近期,一批AI短片、漫剧接连引爆流量,《纸手机》全网播放量超过4000万次,《道印入体》播放量突破20亿次。AI能力的跨场景输出,让文化产业跳出内容本身,不断在电商、家装、文旅等场景开辟增量空间,打破原有产业边界,催生新的变现路径。 这种变...

    来源 腾讯网
  15. 姚顺雨回清华姚班:大模型不拼指标赛马,RSI如何落到工程?

    11 月 18 日晚,腾讯首席 AI 科学家、混元大模型负责人姚顺雨回到母校清华大学交叉信息研究院(姚班),与本科同窗、清华交叉信息院助理教授吕凯风做了一场近距离的闭门问答交流。 作为姚班 2015 级校友与普林斯顿博士,姚顺雨曾参与提出将推理与行动结合的 ReAct 范式,是代码 Agent 评测基准 SWE-ben

    来源 AI 行业观察
  16. 谷歌让AI自改运行框架:成功率由5%升至40%

    谷歌11月17日论文发现:只优化提示词,AI智能体成功率反从5%降至2.5%;而让优化模型直接改写其运行框架Harness,成功率升至40%,提升8倍。团队将仅142行的初始编程智能体拆成四块逐一改造,Harness负责上下文与记忆管理、多轮任务调度、工具调用及结果验证。结论是改框架比磨提示词更有效。

    来源 AI 产业速递
  17. 华为星芒刘赫:得麒麟芯者得天下,OSTA O1 Pro 搭载麒麟 9030S 旗舰 τ 芯片

    IT之家 11 月 20 日现场消息,在今天下午的鸿蒙智行享界 V8 及星芒品牌发布会上,华为 OSTA 星芒品牌总经理刘赫登台,介绍了华为星芒开山之作 —— OSTA O1 Pro 的详细信息。 刘赫表示,江湖上有句古话,得麒麟芯者得天下。OSTA O1 Pro 搭载麒麟 9030S 旗舰 τ 芯片,支持软硬芯云垂直

    来源 AI 行业观察
向下滚动自动加载更多