高通万卫星谈终端侧AI：从单点功能走向智能体，MoE为何关键

高通公司AI产品技术中国区负责人万卫星，2026年11月7日于上海。

终端侧AI眼下走到哪一步了？按万卫星的说法，这项技术经过过去3至4年的发展，正迎来一个比较重要的变化节点。

从应用落地看，终端侧AI并非始于大模型。影像算是AI较早进入终端的领域之一，这些年手机拍照效果一路提升，背后就有终端侧AI在推。现在它的触角已经伸到简单问答、聊天、图像生成与处理，以及文本处理、语音转录、实时翻译等多模态应用，其中不少功能在端侧落地的条件已相对成熟。

问题是，很多端侧AI应用还停留在单点功能上。自动语音识别（ASR）、文本摘要、图片处理、简单聊天机器人等，多数只解决一个具体任务。若今后要让终端进一步完成意图理解、任务编排、实时操作目标App这类系统级、规划类任务，端侧模型的能力就得更强。

这实际上意味着，终端侧AI正从一个个具体任务的解决，慢慢转向更复杂的智能体体验。

那为什么需要终端侧AI？端侧和云端又是什么关系？高通并不主张端侧包打天下，它看重的是端云协同，或者说“计算连续体”，其中一条重要思路叫“端侧优先”（on-device first）。

过去依赖云端的AI服务，每做一次推理都要消耗云端Token、GPU和云端调度资源，还得有网络连接。把合适的AI能力放到端侧，对网络的依赖就能减少，响应更及时也更稳定，终端在安全、隐私和个性化上的长处也能发挥出来。

打个直观的比方：云端更像一个“通用知识库”，端侧掌握的是更多属于用户个人的“专业化知识”。端侧能结合用户是谁、在哪里、过去做过什么，以及当前所处的环境，判断用户接下来可能需要什么服务，这也是“主动式AI服务”的基础。

所以端侧并不是一个孤立的体系。需要更强智能和计算能力的任务可以交给云端，实时、稳定、隐私、个性化这些优势则由端侧来体现，两边相互配合。

为什么MoE会成为终端侧AI的重要技术方向？MoE全称Mixture of Experts，即混合专家模型。要理解它，不妨先拿传统Dense模型作比较。

以一个30亿参数的Dense模型为例，每完成一次推理，30亿参数都得运行一遍，才能得到最终输出。MoE的干法不一样：它把模型中的参数划成多个不同的“专家”模块，每个专家模块只管其中一部分，擅长的任务也可能各不相同。模型处理某个具体任务时，只调用与这个任务相关的部分专家模块。

比如一个MoE模型包含20个专家模块，执行某个任务时，可能只调用其中2至3个专家模块，而不是让全部20个专家模块同时运行。

用“厨师”来打比方很直观：Dense模型好比家里只有一个厨师，想吃什么菜都由他来做。他可能会很多菜系，但每一种未必最擅长。MoE则像同时请了多位擅长不同菜系的厨师，有的擅长鲁菜，有的擅长京菜，有的擅长淮扬菜。当你想吃淮扬菜时，只需要让擅长淮扬菜的厨师工作，其他厨师可以休息。

换句话说，模型虽然拥有很多“专家”模块，真正执行一次任务时，只需要让其中一部分参与计算。这套机制能减少一次推理实际需要运行的参数量，从而提高模型运行效率。

MoE对终端侧AI为什么尤其重要？它在云端大模型里已经得到应用。随着端侧AI发展，越来越多的端侧模型也开始采用MoE方案。

这项技术对终端格外重要，因为手机、PC等设备受内存和功耗等条件限制。目前主流做法通常只能在端侧运行20亿至30亿参数规模的模型。这一规模已经足以很好地完成ASR、文本摘要、图片处理、简单聊天等单点任务，但若要完成系统级、规划类的复杂任务，模型的智能能力仍面临一定限制。

现在用20亿、30亿、40亿参数的模型跑这些复杂任务，并非完全跑不动，问题在于完成度和准确度还有提升余地，大概在60%、70%、80%这个水平。换用MoE，端侧模型的智能水平就有机会再往上走，复杂任务的完成度和准确度也能跟着改善。这也是MoE对终端侧AI的一层意义：终端的内存、功耗都有限，要部署和运行智能水平更高的模型，它提供了一条新的技术路径。

技术再往前推进，现场演示的意图理解、任务编排、实时操作目标App这些能力，将来有可能落到手机、汽车、PC等不同终端上。

高通在进博会现场演示的端侧MoE智能体，到底展示了什么？

MoE模型由多个专家模块组成，整体体量因此偏大。要在端侧真正跑起来，光有模型自身的智能水平不够，还有两个很实际的问题要解决：一是根据当前任务，提前判断接下来要调用哪些专家模块；二是判断出来之后，怎样快速从存储里把这些专家模块调出来，让它们及时参与计算。

大模型推理时，DDR带宽常常是卡点。如果能提前知道下一步需要哪些专家模块，并把这些模块预取到合适的位置，等待时间就能缩短，模型运行效率也会提高。

第九届进博会上，高通展出的端侧MoE智能体演示就是冲着这些问题去的，由高通与Infris AI、江波龙、阶跃星辰一起完成。各方围绕端侧MoE模型的高效运行，从模型、推理、存储、芯片平台几个环节协同优化：阶跃星辰负责把模型的智能能力做上去；Infris AI用推理方案提前预测、预取所需的专家模块；江波龙优化专家模块从通用闪存存储（UFS）到内存的加载效率，让它们更快被激活；高通则围绕芯片平台和软件栈，与合作伙伴一起优化专家模块路由、专家模块预测和缓存预测等环节，把MoE模型在端侧的整体运行效率提上来。

所以这个演示拿出来的不只是一个模型，而是模型、推理、存储、芯片平台几方面的系统性优化，终端侧AI也从单点技术创新走向了产业协同。

终端侧AI为什么越来越需要生态协作？

AI和大模型往前走，高通与产业上下游合作的重心也在变。目标不再只是把模型“搬”到终端，而是让模型在端侧跑得更好，再把这些能力集成进手机、PC、眼镜、汽车等不同设备。

在这套终端侧AI生态里，各家的角色不一样。模型厂商提供“智能”，高通与它们合作，做模型量化，再结合芯片技术和软件栈优化，让模型更小、推理更快，合作也从“模型+芯片”往“模型for芯片”或“芯片for模型”走。终端厂商握着用户“入口”，有设备、操作系统和智能体能力，终端上还沉淀着大量个人和个性化数据，需要把芯片能力与模型智能整合起来，变成用户能感知到的AI体验。开发者负责把AI能力带进更多App和场景，把芯片、模型以及操作系统的能力和权限融进具体应用，靠丰富的应用生态解决AI应用的“长尾效应”。高通提供终端AI能力底座，持续增强NPU等AI处理能力，并通过骁龙平台、全栈AI软件和开发工具，与模型厂商、终端厂商和开发者协作，推动AI能力在更多终端和应用中落地。

这次进博会的MoE智能体Demo，就是这种生态合作模式的具体体现：模型、推理方案、存储到芯片平台，不同伙伴各自解决不同环节的问题，一起把更复杂的AI能力推到终端侧运行。