面壁智能MiniCPM-V 4.7：350亿参数跑上手机，生成速度突破30 Token/s

350亿参数的多模态大模型，只占约3GB内存，在手机上生成速度已经超过30 Token/s。

智东西11月5日报道，面壁智能当天举办端侧多模态大模型技术交流活动。公司联席首席科学家、清华大学人工智能学院助理教授姚远在会上透露，经过最新一轮推理优化，MiniCPM-V 4.7 35B-A3B在手机上的生成速度已提升到30 Token/s以上，模型精度损失几乎可以忽略。

这是一款混合专家（MoE）模型，总参数量350亿，每次推理只激活约30亿参数，眼下正逼近智能手机上较为流畅的实时交互速度。

面壁智能此前已于10月13日发布并开源MiniCPM-V 4.7系列，包含35B-A3B和1B两个版本。

联合创始人、首席科学家刘知远教授在现场表示，把大模型装进终端还不够，关键是让用户真正用起来。在他看来，生成速度至少要达到30 Token/s，使用体验才够流畅。

接下来的分享环节，姚远与面壁智能多模态实验室核心成员余天予、蔡天驰分别围绕端侧智能的发展趋势、模型能力密度、底层推理优化三个方面，介绍了团队的最新研究进展。

分享的重点之一是前瞻专家调度（Lookahead Expert Scheduling，LES）技术。它能够提前预判模型下一层要调用哪些专家模块，在计算的同时从手机闪存读取权重，从而大幅压缩推理过程中的等待时间。面壁智能公布的测试数据显示，在模型输出保持不变的前提下，该方案可把端侧MoE模型的生成速度提升约5倍。

活动现场，智东西还体验了搭载MiniCPM-V 4.7的iPhone Duo，实时解码速度约为25 Token/s。

面壁智能初始版本的测试数据显示，MiniCPM-V 4.7 35B-A3B在iPhone 17 Pro Max上生成速度超过13 Token/s，在iPad Pro M4 16GB上超过17 Token/s。姚远今天披露，团队最新的优化版本在手机上已达到30 Token/s以上，运行内存占用仍控制在约3GB。

随后的媒体交流中，姚远给出一个大胆预测：参照过去几代大模型能力向端侧迁移的速度，未来两年内，GPT-6级别的智能能力有望在手机上以约3GB内存流畅运行。他称这一判断目前还算行业里尚未形成广泛共识的观点。

谈到AI手机的现状，姚远认为，真正的AI原生手机需要重新思考交互方式。端侧模型能力、手机系统的权限壁垒以及功耗，仍是实现这一目标绕不开的问题。

一、端侧智能正在“撞线”，部分能力已超过三年前云端旗舰模型

姚远提出了一个判断端侧智能发展阶段的新视角：当端侧模型能提供的智能水平超过某类用户需求所需的最低门槛时，这类任务就具备了从云端转向终端的条件。他把这个过程叫作“撞线”。

姚远把智能需求分成两类。一类是设计先进芯片、开发大型软件这类近乎没有能力上限的复杂任务；另一类是大量日常生活和工作中能力要求相对稳定、存在明确上限的任务。

对后一类需求来说，只要端侧模型能力持续增长，总有一部分任务会达到可由本地模型完成的水平。

他认为这种变化已经开始。从早期的文本续写、信息抽取，到写作改写、图像和视频理解，再到初步的工具调用，端侧模型能覆盖的任务范围在不断扩大。

要推动这一进程，姚远提出端侧智能发展的“三驾马车”：模型、硬件和AI基础设施（Infra）。

模型提供智能能力，硬件提供计算资源，Infra则负责让模型的计算需求与硬件资源尽可能高效地匹配，减少中间损耗。

模型层面，面壁智能此前提出的智能密度定律认为，模型的智能密度大约每3.5个月翻一番。

硬件层面，芯片性能持续提升，加上面向Transformer架构优化的NPU，都有望进一步提高端侧设备能承载的智能水平。

Infra层面，姚远展示了MiniCPM-V 4.7在不同优化阶段的生成速度变化：在iPhone 17 Pro Max上，采用常规专家读取方式时，35B模型只能达到约3 Token/s；引入前瞻专家调度后提升到约13 Token/s；进一步利用新一代手机硬件，生成速度又提升到约20 Token/s。

最近几天，团队完成新一轮优化，生成速度提高到30 Token/s以上，内存占用仍维持在约3GB。

姚远认为，MiniCPM-V 4.7 35B-A3B的多模态智能水平，至少已经超过2023年的云端旗舰模型GPT-4V。

交流活动上，面壁智能方面还提到，端侧模型能力、系统权限与功耗的平衡，将决定AI手机能走多远。

三年前还得靠云端大算力才能提供的那部分多模态能力，现在手机本地就能跑起来。

姚远另外抛出一个“等智能线”的说法：拿某一代云端旗舰模型的本事当尺子，看要达到差不多的水平，模型参数规模随时间怎么往下掉，再跟端侧设备扛得住的规模摆在一起比。两条线一交叉，就说明这个档次的智能能在端上落地。

姚远判断，若拿GPT-4V、GPT-4o这些老模型的能力做参照，端侧智能已经跨过了一段不小的距离；可要是换成更强的新一代前沿模型当标尺，端侧还差着一截。

他的意思是，不能一边不停抬高智能能力的评价门槛，一边又不认端侧模型已经迈过去的那些关键坎。

二、350亿参数模型，如何逼近手机算力极限？

面壁智能多模态实验室核心成员余天予把团队提升模型智能密度的打法归成三问：怎么用更少的算力看清世界、怎么用更少的步骤把问题解决、怎么花更低的成本让模型学会新任务。

头一个是多模态模型处理视觉信息时的算力开销。

一张高清图编码下来可能要几千个视觉Token。模型要是连着理解几分钟乃至几小时的视频，海量视觉Token很快就把上下文占满，算力成本也跟着涨。

所以面壁智能在历代MiniCPM-V模型里，一直在往上提视觉信息的压缩效率。

余天予把这条技术路线的变化捋了一遍：MiniCPM-V 2.5靠图像切分提升视觉编码效率；后面的版本加进时空联合压缩，找出相邻视频帧之间的共同信息，把重复计算减下来。到MiniCPM-V 4.5，这套技术已经能做到最高96倍的视觉压缩。

MiniCPM-V 4.7里，团队又引入LLaVA-UHD v4，在视觉编码器内部就把视觉Token提前压掉，压缩环节往前挪，相关计算量再少约一半。

眼下MiniCPM-V 4.7有4倍和16倍两种视觉Token压缩模式。前者留住更多图像细节，文档解析这类任务合适；后者优先压计算开销，实时交互更对路。

此前公开的模型测试显示，就算用16倍压缩模式，MiniCPM-V 4.7在MMBench、OCRBench等基准测试里照样能保持较高准确率。

除了让模型更高效地处理视觉信息，余天予还讲了团队在后训练上的多项技术积累。

其中一项是治视觉模型的幻觉。老办法一般让模型生成多个答案，再由人来给答案质量打分。余天予觉得，这样传给模型的反馈信息其实有限。

面壁智能早前提出的RLHF-V方法，试着把简单打分换成直接纠错。与其只告诉模型哪个答案更好，不如把具体错在哪指出来，再给个更合适的答案。

之后团队又用RLAIF-V等办法，把一部分人工反馈换成AI反馈，把复杂的视觉理解问题拆成多个更好判断的小问题，再综合出评价结果，以此压低反馈数据的获取成本。

最新分享里，余天予进一步介绍了基于概率奖励的强化学习方法RLPR。这法子想减少不同任务对专门设计的验证器的依赖，让模型从最终正确结果提供的信息里拿到训练奖励，再靠自主探索改进解决问题的路子。

另一个重要方向，是让模型学新任务的同时，别把原有的通用能力弄丢。

余天予说，传统监督微调可能出灾难性遗忘：模型在特定任务上表现上去了，原本的识别、推理或指令遵循能力反倒降了。团队为此提出自回放微调（Self-Replay Fine-Tuning）方法。

具体做法是，先让原始模型生成一批高质量的通用任务回答，再把这些数据跟新任务训练数据混在一起，模型学新本事的时候，也能复习已经掌握的知识。

据余天予介绍，团队在多种开源模型上的实验显示，这方法能把微调导致的能力遗忘减少80%至99%，新任务上的训练效果基本保住。

这套方法不用改模型结构和损失函数，也不必每次训练都重新生成大量回放数据，用起来的成本接近普通监督微调。

任务演示环节，余天予展示了MiniCPM-V 4.7 35B-A3B在iPhone上离线做家庭用电分析的全过程。模型能根据用户给的家电信息、用电预算和历史账单，分析哪些家电耗电最多、账单里有没有漏项，再提出不同的节电方案。

余天予提到，端侧模型还有一个方向值得往下试：让模型在用户自己的设备上不断学习，隐私和本地计算的好处不变，同时慢慢摸清个人的长期使用习惯。

三、80%的“专家”提前猜中！揭秘手机运行35B模型的关键技术

面壁智能多模态实验室核心成员蔡天驰把前瞻专家调度技术LES拆开讲了一遍。它要对付的局面是：350亿参数模型的权重整套装不进手机内存，可手机闪存又放得下这些权重。

拿MiniCPM-V 4.7 35B-A3B来说，完整权重约65.6GiB。就算换成精度更低的量化方案，权重规模还是可能超出普通手机能拿出的运行内存。

不过MoE模型有个要紧的特点：参数总量虽大，每生成一个Token，真正被激活的只是部分专家模块。于是大部分权重可以留在闪存里，用到了再取。问题是，这种取法会带来频繁的数据读取。

蔡天驰说，MiniCPM-V 4.7 35B-A3B是40层计算结构。每层都先定专家、再从闪存读权重，等待就会一层接一层地出现。

以iPhone 17 Pro Max为例，把额外的数据读取和系统调度开销都抛开，模型每生成一个Token的纯计算时间约50毫秒，理论计算速度约20 Token/s。可换成常规的闪存读取方案，数据搬运等环节可能再添约250毫秒，实际生成速度就掉到每秒2至3个Token。

LES要做的，是让原本串行的“确定专家—读取权重—执行计算”尽量并起来跑。

具体做法是借Transformer相邻层之间残差连接的特性：当前层还在算，系统就提前判断下一层要调用哪些专家，同时把对应权重从闪存搬进内存。

等计算走到下一层，大部分需要的专家已经就位，原先耗在等闪存读取上的时间，就被计算过程盖过去了。

可这套办法还带着一个不小的问题：提前猜的专家未必全对。

蔡天驰提到，一层里有256个候选专家、实际只需激活8个，若提前预测8个，命中率约80%。换句话说，要用的8个专家里，通常能提前猜中6至7个。

把预测范围扩到16个，命中率能升到约96%，但多读专家同样要多付开销。

所以LES得在预测命中率和读取成本之间找平衡。

没被提前预测到的专家，系统会在计算时接着加载，并优先算已经准备好的那些，让剩余权重的读取和计算同步推进。

另外，预测结果并不会直接改动模型最终用哪些专家。

模型还是按原来的路由机制挑实际需要的专家，预测只影响读取和计算的顺序。也就是说，前瞻专家调度本身不会改变模型最终的输出结果。

提前预测之外，团队在模型权重的存放和读取方式上也做了优化。

传统做法里，专家权重可能散在不同位置，一次调用要读好几回。面壁智能把专家权重的存储布局重新排过，让同一专家要用的数据尽量挨着放，闪存读取效率因此提高。

团队还用上逐层混合精度量化，把权重体积和数据传输量压下来，并引入DSpark投机解码等技术，让主模型一次计算能验证多个候选Token，生成效率再往上走一步。

面壁智能此前公布的数据显示，在iPad Pro M4 16GB设备上，LES能让MiniCPM-V 4.7 35B-A3B的生成速度平均提升约5倍。

五、面壁科学家回应：两年内GPT-6级能力上手机，AI手机仍缺乏想象力

之后的媒体交流中，姚远等科学家又聊到端侧智能未来两年怎么走、AI手机的应用卡在哪，以及模型商业化这些问题。

以下为智东西整理的关键问答：

Q1：未来两三年，端侧模型的能力上限能到哪一步？

姚远：回顾几代旗舰模型的演进，云端旗舰模型的能力，一般大约两年就能迁移到端侧。

顺着这个趋势看，未来两年，GPT-6级别的智能有望在手机上落地，内存占用约3GB，生成速度也比较快。

他的意思不是把现有GPT-6模型整套塞进手机，而是未来的端侧模型能达到与之相近的智能水平。姚远也坦言，这个判断目前比较挑战行业想象力，团队内部认为尚未形成广泛共识。

在他看来，端侧AI能力不断往上走，更多原本只能靠云端完成的复杂任务，可能会转移到手机本地。

Q2：怎么看眼下的AI手机和AI原生手机？

姚远认为，现阶段的AI手机有两个主要障碍。

一是模型能力还比较有限，不足以完成更多复杂任务。二是手机生态里的权限和数据壁垒，各家厂商对应用数据和操作权限都有限制，智能体跨应用执行任务会受影响。

他举了此前豆包手机遇到应用权限限制的例子，认为手机生态本身也需要发生变化。

不过他看来，当前AI手机还有另一个问题：行业对AI原生手机的想象力仍然不足。

“包括其实一些典型的应用，说实话也有点无聊，就点外卖，订飞机票等等，这种其实大家展示都是这些。”

姚远认为，真正的AI原生手机，应该从用户理想中的使用体验出发，重新思考AI能带来什么样的交互方式。

面壁智能还判断，将来“AI手机”这个说法或许就没人特意提了，原因在于AI能力会变成手机的基本功，跟现在触屏一样平常。真到那一步，手机的硬件长什么样、人怎么跟它交互，都可能跟着变。

Q3：手机厂商都在自研端侧模型，面壁这样的第三方厂商怎么与其竞争？

姚远提到，手机厂商可以围绕自身硬件做深度定制，但第三方模型厂商的优势在于能面向不同芯片、操作系统和推理框架做广泛适配，并依靠开源社区形成生态。

他还分享了一组面壁智能内部测试结果。据其介绍，团队曾对Apple Intelligence的本地模型进行测试。在约10项基准测试中，苹果端侧模型的综合得分约为54至55分，与MiniCPM-V 4.7 1B的水平大致相近，而MiniCPM-V 4.7 35B-A3B在团队测试中的得分接近90分。

另外，面壁智能的模型和Infra由团队自主研发，硬件则依靠生态伙伴。其也不会将模型限定在某一家手机或芯片厂商的平台上。

Q4：目前的演示主要集中在旗舰手机上，普通用户什么时候能在千元机上用上端侧模型？

蔡天驰表示，这两个版本各自分工不同：35B-A3B要去冲端侧智能的能力天花板，1B版本服务的则是范围更广的消费级终端。

早在上一代MiniCPM-V 4.6时期，1B版本就已经能够在部分千元机甚至更低价位的设备上运行，生成速度可以达到15 Token/s或更高。

在用户体验方面，团队认为，8 Token/s以下容易让人感到卡顿，而15 Token/s对于一般的文字对话已经比较流畅。

因此，随着模型推理效率继续提高，未来不同价格手机之间的AI体验差异有望进一步缩小。

Q5：如果端侧AI需要持续读取邮件、日程、照片等信息，能否在当前手机上24小时运行？

蔡天驰坦言，目前MiniCPM-V 4.7运行时的功耗接近大型手游，部分情况下甚至可能更高。

就眼下的功耗表现来说，想让这个模型全天候一直跑着，还做不到。

不过团队并不悲观。模型算子还能继续优化，推理引擎也有改进余地，再叠加功耗更低的计算芯片，可挖掘的空间依然不小。

蔡天驰给出的预期是，靠后续优化，这一代模型就有望把长期运行的功耗压到接近手机听音乐的水平。他也说清楚了，这只是团队想达成的目标，不是现在已经做到的事。

姚远还提到，团队正在研究实时交互的全模态模型。按他的设想，将来的个人AI助手能一直理解用户身边的音视频信息，把个人上下文放在本地掌握，并实时把服务提供出来。

他把这种理想形态比作电影《钢铁侠》里的AI助手贾维斯。

Q6：端侧模型越来越强之后，云端AI还有没有必要？哪些信息该放在本地处理？

A：姚远的判断是，端云协同今后依然是重要方向。

碰到特别复杂的任务，本地模型一时处理不了，就得调用云端模型。而端侧模型的智能水平往上走，能留在本地完成的任务也会越来越多。

说到隐私保护，姚远认为多模态信息数据量大、持续产生、隐私敏感程度又高，所以应尽量优先在本地处理。

遇上特别复杂的逻辑推理任务，可以先在本地把问题抽象、脱敏，再交给云端模型去推理，最后回到本地模型，结合具体的个人场景生成结果。

汽车这类场景里，本地计算还有网络稳定性上的好处。车辆开进隧道或者没有网络的区域时，跟车辆交互、控制相关的功能不能完全指望云端连接。

Q7：大模型逐渐成熟，行业是不是正从模型算法转向Infra优化？

A：姚远承认，Infra在大模型发展中的重要性确实明显上升了，但他不认为模型算法创新的重要性在下降。

“很多模型能力边界上的事情，就是它做不到就是做不到，你把它快一万倍，它也是输出0。”他的解释是，模型创新决定能不能解决一类新问题，Infra决定这些能力能不能以合理的成本、速度和资源开销真正跑起来。

比如模型有某项能力，可推理速度太慢，或者根本部署不到手机上，用户还是用不上。

反过来说，模型本身没有相应能力，光把速度提上去也补不回来。

在他看来，模型、硬件和Infra得互相配合，不能说哪一个方向可以长期替代其他方向。

姚远还透露，面壁智能正在尝试让AI自动编写模型计算算子，针对不同模型和硬件生成专门优化的计算实现，把传统人工优化的成本降下来。

Q8：手机、汽车和机器人厂商眼下最迫切的端侧AI需求是什么？具身智能能不能沿用多模态模型的技术路线？

A：姚远观察到，不少终端厂商现在更关心的是端侧模型能不能把能力再提一档、跑得更快、功耗再降一些。

拿智能汽车座舱来说，理想中的AI助手要同时处理车内外音视频、多个传感器的信息，还有不同乘客的交互需求。

用户上车时它可能要认出身份、按个人习惯调整设备，或者分辨车内不同人员之间的对话，再判断什么时候该参与进来。

这些功能能不能落地，说到底还是看端侧模型能给出多高的智能水平。

至于具身智能，姚远认为多模态模型和具身模型在底层技术上有较强的关联。面壁智能看好的路线，是从文本模型、多模态模型一路走到实时全模态和具身智能。

在他看来，具身智能眼下还没走到通用能力成熟、可以大规模商业化的阶段。当下不少机器人应用用的仍是为固定场景训练的专用模型，泛化和长程任务执行都受限。

所以面壁智能现阶段的重点，是先让具身基础模型的通用能力往上走，而不是主要靠针对固定动作和场景的专用模型去做商业化。

Q9：开源和商业化，面壁智能怎么平衡？

姚远的看法是，开源是模型厂商触达潜在商业客户的重要渠道。模型开源出去，开发者能直接下载、直接测；一些企业用下来觉得效果可以，就会主动找上面壁智能谈合作。

“其实我们现在很多的客户都是用了我们开源模型，说很好，所以来和我们接触的。”他说，重要的基础模型面壁智能还会继续开源，已经明确签下商业合作的特定版本，处理方式可能不一样。

开源社区还帮公司在海外接触到更多开发者。有人拿MiniCPM模型做AI眼镜和各种应用，这些项目往后也有可能长成商业合作。

至于具体怎么合作，面壁智能目前没有固定套路，而是按不同终端厂商的需求，去试模型定制、后训练以及其他方式。