高通万卫星谈端侧MoE：20亿参数模型如何更聪明

11月7日，第九届进博会现场，高通公司AI产品技术中国区负责人万卫星分享了终端侧AI的最新进展。他表示，经过3至4年发展，终端侧AI正走到一个关键节点：从解决单个具体任务的单点应用，转向更复杂的智能体体验。

高通公司AI产品技术中国区负责人万卫星

万卫星介绍，终端侧AI的起点并非大模型，影像是最早落地的领域之一，之后才扩展到问答、图像生成、文本处理、语音转录、实时翻译等多模态应用。不过，眼下多数应用仍停留在单点功能层面，语音识别、文本摘要、图片处理都是如此。要让终端完成意图理解、任务编排、实时操作目标App这类系统级任务，端侧模型的能力必须更强。

他强调，端侧并不是要取代云端。高通提的是“计算连续体”和“端侧优先”：需要更强智能和算力的任务交给云端，端侧则负责实时、稳定、隐私和个性化，同时减少对网络的依赖。万卫星打了个比方——云端像“通用知识库”，端侧掌握的是更多属于用户个人的“专业化知识”，能结合用户身份、位置、行为和环境预判需求，这也是“主动式AI服务”的基础。

那端侧模型怎么才能更聪明？万卫星认为，目前主流做法只能在端侧跑20亿至30亿参数规模的模型，单点任务够用，但面对复杂的规划类任务，完成度和准确度还有提升空间。MoE（混合专家模型）给出了新思路：参数被划分成多个“专家”模块，执行任务时只调用其中一部分，比如20个专家里调2至3个，单次推理实际运行的参数量就降下来了。

他又用厨师作比：Dense模型像一位厨师包揽所有菜系，MoE则像多位各擅不同菜系的厨师，点什么菜就由谁掌勺。在手机、PC这类内存和功耗受限的设备上，这为部署更高智能水平的模型打开了空间。

高通今年进博会的展台上也用了类似做法。万卫星说，MoE 模型参数规模大，要放到端侧跑，就得先预判会用到哪些专家模块，再从存储里迅速取出来。这个演示是高通联合 Infris AI、江波龙、阶跃星辰一起做的：阶跃星辰负责让模型更聪明，Infris AI 管专家模块的预测和预取，江波龙把 UFS 到内存这段加载效率提上去，高通则围绕芯片平台和软件栈去优化路由与缓存预测。他提到，这套东西亮出来的不只是一个模型，而是模型、推理、存储加芯片平台一起做的系统级优化。

万卫星表示，终端侧AI的比拼已不止于单个模型或单颗芯片，生态协作越来越关键：模型厂商提供智能，终端厂商掌握用户入口，开发者解决应用长尾，高通提供能力底座。他预计，随着技术成熟，现场展示的意图理解、任务编排等能力有望走向手机、汽车、PC、眼镜等更多终端。