面壁智能姚远：端侧智能正处“撞线前夜”，35B模型已上手机

“假如你手里有根魔法棒，点一下就能让GPT-6直接跑在手机上，那他们为什么不做这件事？”11月5日面壁智能技术分享会上，该公司多模态大模型实验室算法研究员蔡天驰用这句反问，把做端侧智能的必要性摆到了台面上。

端侧模型与大众更熟悉的通用大模型不是一回事。它跑在手机、电脑、汽车这类终端上，任务在设备本地处理，不用每次都把数据传到云端服务器。难就难在，模型得在手机有限的算力、内存和存储里转起来，响应要快，功耗还得低。

过去半年，面壁智能接连放出MiniCPM-V4.6、V4.7端侧多模态大模型及其不同版本，眼下首次让35B（参数量350亿）、MoE（混合专家架构）模型跑上了手机。会上，面壁智能首席科学家姚远带着团队接受包括《中国经营报》在内的媒体采访，谈了对端侧智能现状与技术走向的判断。

端侧智能往哪走

姚远拿“计算”作类比。最早的电脑计算能力很弱，只能靠大型机；后来算力一步步进了个人电脑和手机，一路往上走。到今天，几十亿台PC和手机，加上200多亿接入互联网的物联网设备，绝大多数用户在大多数时间里根本不用租云端服务器，自己的任务就办完了。计算设备也因此走向小型化、高效化、普惠化。

在他看来，端侧智能大概率会走一条相似的路：模型能力慢慢离开云端，落到用户手边的终端上。“参照个人计算的路径，个人智能的发展进程，关键在于供给。”

那眼下端侧智能走到了哪一步？用户能拿到什么样的个人智能？

姚远对本报记者的回应是，从用户角度最直接的体验是“很多特别难的、之前想象不到的能在手机上跑的问题，现在能跑了，也就是智能水平的提升”。另一感受来自推理速度变快，功耗、内存限制这些也会肉眼可见地改善。“关于未来，我们希望有一个足够强的模型，以足够低的功耗，在我们身边实时地运行。”他说，“比如我们最近在做的全模态模型，它会像人一样能够实时与用户交互，尽管它当下的计算开销是非常大的，但未来或许就可以在手机上跑，用户所有的数据都不出户，交互的上下文全都掌握。这对于用户来说将是一个足够有吸引力的状态。”

现场，姚远把端侧智能的发展阶段称作“撞线前夜”。他用两条各自独立、客观发展的线来解释：一条是技术供给推动计算密度持续提升，另一条是个人办公等需求对应着各自的算力门槛。“在达到这条线之前，个人智能就处于‘大型机’时代，当供给的计算密度撞线，就会进入‘PC’时代，而进一步撞线，就会进入‘移动智能’时代。”

记者追问起眼下让消费者眼花缭乱、又难以分辨的“AI手机”“AI原生手机”或“智能体手机”，姚远认为：“AI原生手机肯定是希望很多任务能够直接帮用户完成，但基于现在的手机生态，面临的阻碍一方面是模型智能，另一方面是不同手机厂商的权限许可及管理体系。”不过他补了一句，现在无论产业界还是消费者，“对于AI原生手机普遍缺乏足够的想象力，只能把一些显而易见的事情让AI局部解决一下，节省一点时间而已。”

模型接下来怎么迭代

面壁智能技术团队在现场做了演示：MiniCPM-V4.7 35B-A3B模型在一台iPhone 18 Pro Max上运行。据姚远介绍，模型发布时输出速度约每秒20个Token（词元），近期优化后演示版本已超过每秒30个Token，内存占用约3GB。

为什么盯着输出速度？姚远的解释是，低于每秒8个Token，用户会觉得卡；到每秒15个左右，人和模型的对话就比较顺了；再往上快，回答速度会超过用户的阅读速度。所以端侧模型的目标不光是能跑在手机上，还得在有限的物理资源下跑到日常使用能接受的速度。

速度上去，靠的是针对手机存储、内存和模型结构等做的算法协同优化。蔡天驰介绍，模型参数规模有35B，但每次生成内容实际只调用部分专家，团队会提前预测下一步可能调用哪些专家，并在当前计算过程中从闪存预读权重，减少等待；同时还调整了权重存放方式、压缩部分数据，并改了解码流程。

姚远说，优化的前提是不明显影响模型输出质量，同时要控制内存占用，给手机上的其他应用留出空间。端侧模型的发展也不能只看高端手机跑得多快，他指出，随着芯片和推理技术进步，流畅运行的能力有望逐步下放到更多机型。事实上，面壁智能今年5月发布的MiniCPM-V4.6模型已经用到了千元级安卓手机上。

谈到下一步，姚远表示，端侧智能最大的技术含量说到底就一点——“在端侧上提供最强的智能”。在他看来，端侧模型的竞争不比参数规模，更关键的是在终端有限的资源下，把智能能力真正交到用户手中。