高通进博会详解终端侧AI：从单点功能走向智能体，MoE为何关键

终端侧AI发展到了什么阶段？

经过过去3至4年的演进，终端侧AI正走到一个颇为关键的转折点。

回头看，终端侧AI的起点并不是大模型。影像算得上AI在终端最早落地的领域之一，这几年手机拍照效果一路提升，背后推手就有终端侧AI。如今它的触角已经伸到简单问答、聊天、图像生成与处理，以及文本处理、语音转录、实时翻译等多模态应用上，其中不少功能在端侧落地的条件已相对成熟。

问题是，眼下很多端侧AI应用还停留在单点功能上。自动语音识别（ASR）、文本摘要、图片处理、简单聊天机器人，大多只解决一个具体任务。若今后要让终端进一步扛起意图理解、任务编排、实时操作目标App这类系统级、规划类任务，端侧模型的能力必须更强。

这就意味着，终端侧AI正一步步从解决一个个具体任务，转向更复杂的智能体体验。

为什么需要终端侧AI？端侧和云端是什么关系？

高通并没有把端侧说成唯一答案，它更看重端云协同，或者叫“计算连续体”，其中一条重要思路是“端侧优先”（on-device first）。

以往依赖云端的AI服务，每做一次推理都要消耗云端Token、GPU和云端调度资源，还得靠网络连接。把合适的AI能力放到端侧，对网络的依赖就能减轻，响应更及时也更稳定，终端在安全、隐私和个性化上的长处同样能发挥出来。

打个直观的比方：云端更像一个“通用知识库”，端侧则装着更多属于用户个人的“专业化知识”。

端侧能结合用户是谁、在哪里、过去做过什么，以及当前所处的环境，判断用户接下来可能需要什么服务，这正是“主动式AI服务”的基础。

所以端侧并非孤立体系。需要更强智能和计算能力的任务可以交给云端，实时、稳定、隐私、个性化这些优势则由端侧来承担，两边相互配合。

为什么MoE成为终端侧AI的重要技术方向？

MoE全称Mixture of Experts，即混合专家模型。要理解它，不妨先拿传统Dense模型作对照。

以30亿参数的Dense模型为例，每完成一次推理，30亿参数都得运行一遍，最终输出才能得到。

MoE的运作方式不一样。它把模型中的参数划成多个不同的“专家”模块，每个模块负责其中一部分，擅长的任务也可能各不相同。模型处理某个具体任务时，只需调用与这个任务相关的部分专家模块。

举例来说，一个MoE模型含有20个专家模块，执行某个任务时可能只调用其中2至3个，全部20个专家模块并不需要同时运行。

“厨师”的比喻很直观：Dense模型好比家里只请了一个厨师，想吃什么菜都归他做，他也许会不少菜系，但每一种未必最拿手。MoE则像同时请了多位各擅菜系的厨师，有的擅长鲁菜，有的擅长京菜，有的擅长淮扬菜。想吃淮扬菜，只让擅长淮扬菜的厨师上手就行，其他厨师可以歇着。

换句话说，模型即便拥有很多“专家”模块，真正执行一次任务时只有一部分参与计算。这样一次推理实际运行的参数量降了下来，模型运行效率也就提高了。

MoE为什么对终端侧AI尤其重要？

云端大模型里，MoE已经得到应用。端侧AI往前走，越来越多端侧模型也开始采用MoE方案。

这项技术对终端格外关键，原因在于手机、PC等设备受内存和功耗等条件制约。

眼下业内的通行方案，一般只能让20亿至30亿参数规模的模型在端侧跑起来。这个量级应付ASR、文本摘要、图片处理、简单聊天这类单点任务已经够用，可一旦要做系统级、规划类的复杂任务，模型的智能水平就有点跟不上了。

当然，用20亿、30亿或40亿参数的模型去跑这些复杂任务，并非完全跑不动，问题出在完成度和准确度上，可能只有60%、70%或80%的水平。MoE则提供了一个机会，把端侧模型的智能水平往上推，复杂任务的完成度和准确度也有望跟着提升。

这也是MoE对终端侧AI的一层重要意义：终端的内存、功耗都有限，在这类条件下要部署和运行智能水平更高的模型，它给出了一条新的技术路径。

随着相关技术继续往前走，现场演示的意图理解、任务编排、实时操作目标App等能力，未来有希望落到手机、汽车、PC等不同终端上。

高通在进博会现场的端侧MoE智能体演示，到底展示了什么？

MoE模型由多个专家模块组成，整体体量自然不小。要让它真正在端侧跑起来，光有模型自身的智能水平还不够，还有两个很实际的问题要解决：一是怎么根据当前任务，提前判断接下来要调用哪些专家模块；二是判断出来之后，怎么快速从存储里把这些专家模块调出来，让它们及时参与计算。

大模型推理时，DDR带宽常常是卡脖子的环节。如果能提前弄清下一步要用哪些专家模块，并把它们预取到合适的位置，等待时间就能缩短，模型运行效率也会跟着提高。

第九届进博会上，高通联合Infris AI、江波龙、阶跃星辰共同展示了一套端侧MoE智能体演示，针对的正是上述难题。为了让端侧MoE模型跑得更高效，几方分别在模型、推理、存储和芯片平台等环节下手：阶跃星辰负责把模型的智能水平往上提；Infris AI的推理方案会提前预测并预取所需的专家模块；江波龙则提升专家模块从通用闪存存储（UFS）加载到内存的效率，让它更快被激活；高通从芯片平台和软件栈出发，与伙伴一道优化专家模块路由、专家模块预测和缓存预测等环节，从而抬高MoE模型在端侧的整体运行效率。可见这场演示呈现的不单是一个模型，而是模型、推理、存储、芯片平台多个环节的系统性优化，终端侧AI也由此从单点技术创新走向产业协同。

终端侧AI为什么越来越离不开生态协作？

随着AI和大模型的发展，高通与产业上下游合作的重心也在变。目标不再只是把模型“搬”到终端，而是让模型在端侧跑得更好，再把这些能力集成进手机、PC、眼镜、汽车等各类终端设备。

终端侧AI生态中，各家伙伴承担的角色并不相同。模型厂商输出“智能”，高通与它们合作，借助模型量化，再结合芯片技术与软件栈做优化，让模型体积更小、推理速度更快，推动双方合作从“模型+芯片”迈向“模型for芯片”或“芯片for模型”。终端厂商握着用户“入口”，手中既有设备、操作系统和智能体能力，终端上又沉淀了大量个人和个性化数据，因此需要把芯片能力与模型智能拧成一股，转化为用户能感知到的AI体验。开发者的任务是把AI能力带进更多App和场景，将芯片、模型以及操作系统的能力与权限嵌入具体应用，再借丰富的应用生态化解AI应用的“长尾效应”。高通提供的是终端AI能力底座，不断强化NPU等AI处理能力，并以骁龙平台、全栈AI软件和开发工具为依托，与模型厂商、终端厂商和开发者协同，让AI能力在更多终端和应用中落地。

这次进博会的MoE智能体Demo，就是这套生态合作模式的具体例子：模型、推理方案、存储到芯片平台，不同伙伴各自解决不同环节的问题，一起把更复杂的AI能力推到终端侧运行。