GPT-6两年内装进手机：端侧智能撞线前夜？

上世纪 40 年代，计算机还是要占满整间屋子的大家伙。造价高、体积大，能碰上的只有少数科研机构和大型组织。那会儿，算力是稀罕又昂贵的东西。

可放到今天看，普通人手上的一部 iPhone，单位体积内的计算能力已经涨了数十亿倍。当年的人想象不到，全世界大部分计算会落到每个人的桌面和衣兜里。

历史绕了个圈，智能的演进也是如此。

GPT 带起大模型浪潮之后，用户能感知到的「智能」基本都待在少数科技巨头的机房中，跑在云上。大模型刚出来那阵，也没人料到只过几年，一个智能水平超过 GPT-4V 的模型就能在手机上顺畅跑起来。

端侧智能的多次降临。横轴是时间，纵轴是参数量。颜色代表模型表现，红色表示性能较强，蓝色表示较弱。

面壁智能和 OpenBMB 社区近日把 MiniCPM-V 4.7 开源了。其中 35B-A3B 版本是个 350 亿参数的 MoE 多模态模型，放到手机上内存占用只有约 3GB，在最新的 iPhone 18 Pro Max 上出词速度已突破每秒 30 个 token。

下面看一段实机录屏：一台开着飞行模式的 iPad，本地跑 MiniCPM-V 4.7-35B-A3B，执行多模态任务。

视频链接：https://mp.weixin.qq.com/s/jK44J32EhAJwjc0S7ia0uw

35B 参数、完全本机运行，这个表现确实让人意外。答得准，输出速度也跟得上，体感流畅，又不会快到让人看花眼。多模态这块同样能打，手写的数学题也能认对。

当年的「小钢炮」MiniCPM，如今已经长成能在端侧跑的能力全面的性能猛兽。

面壁智能联合创始人、首席科学家刘知远回忆，2024 年团队提出要做端侧智能时，那还只是一个远景；走到今天，远景已经成了近景。

模型出自面壁智能多模态大模型实验室，带队的是面壁智能联席首席科学家、清华大学人工智能学院助理教授姚远。

MiniCPM-V 4.7 问世之后，姚远判断，端侧智能已经走到「撞线前夜」，再往后，端侧智能的前景会超出想象。

「2 年内 GPT-6 （级别的智能）到手机上，我们觉得是没什么问题的」。

端侧智能的「三驾马车」：

模型、硬件与 Infra

MiniCPM-V 4.7 35B-A3B 是全球首个能在端侧无损、流畅运行的开源 MoE 多模态大模型。1B 版本则接着 MiniCPM-V 4.6 的路子走，面向入门设备和端侧智能普惠。

35B-A3B 负责往上探。官方公布的 34 项基准测评里，它在通用视觉、数学推理、OCR 与图表理解、长视频等任务上压过 Qwen3.6-35B-A3B，也超过了 Qwen 27B 和 Gemma-4 31B。论智能水平，这一代「超过 2023 年的云端旗舰 GPT-4V，应该是大家都能认同的」。

1B 版本负责往下铺。OCR、图表推理和多图理解上，它优于 Qwen3.5-0.8B，也强过体量更大的 LFM2.5-VL 1.6B 和 Gemma-4，千元级手机跑起来不费劲。

端侧设备的内存在卡、算力在卡、功耗也在卡。模型本身多强当然要看，但更要看用多小的代价换来多强的智能，也就是「能力密度」够不够高。MiniCPM-V 4.7 的两个版本，各自在对应参数规模上把多模态模型的「性能 — 效率帕累托前沿」往前推了一步。

从 MiniCPM-V 4.7 的表现往回看，端侧智能进步的动力来自哪，也就清楚了：模型、硬件和基础设施（Infra）这三样，缺一不可，被称作推动端侧智能发展的「三驾马车」。

模型：把智能密度逼向物理极限

模型这条线上，面壁智能一直盯着的就是智能密度。

端侧对密度的要求格外苛刻。人脑功耗约 20 瓦，一台 8 卡 AI 服务器满载要超过 1 万瓦，而手机日常只有几瓦的预算，跑一个 20 瓦的程序，用不了多久就会发烫掉电。「自然早已证明，智能可以极其高效。」

所以对端侧多模态大模型来说，「看、想、学」三件事最关键：用更少的计算看清世界，用更少的步骤想清问题，用更低的成本学会新本事。

「看」这一环成本最高。MiniCPM-V 系列的视觉压缩方案，一代比一代落地更早。3D-Resampler 将连续 6 帧视频一并压缩，仅用 64 个 token，压缩率高达 96 倍；这一代采用的 LLaVA-UHD v4 则把压缩动作前置到视觉编码器内部，编码计算量下降 55.8%，同时提供 4 倍与 16 倍两档压缩率，可按需切换。

「想」依靠的是后训练。早期是人工逐句纠错的 RLHF-V，之后是让开源模型逐条核对的 RLAIF-V，再到以模型自身置信度作奖励、无需判卷器的 RLPR——奖励成本一路走低，模型也能用更短的推理时间答对更难的题。「奖励能走多远，推理就能走多远。」

「学」针对的是遗忘问题。微调之前先让模型回答一批通用问题，再把高质量回答掺进新任务数据中共同训练，结果是新任务学得会，旧能力也保得住；在 4 个开源模型上，遗忘减少了 80% 到 99%。

硬件：出厂即定的预算

面壁团队的定位很清楚：模型和 Infra 坚持自研，芯片则交给合作伙伴。硬件划定了端侧智能的算力预算，也决定了模型和 Infra 能发挥出多大作用。

云端算力、内存和带宽都能按需扩容，端侧设备却不同，一旦出厂，资源基本就固定了。存储芯片价格眼下还在持续上涨，在部分手机的物料成本中已占到三到五成，12GB 内存也逐渐成为 AI 手机的及格线。内存越贵，用更少资源跑更强模型这件事就越有价值。

硬件本身其实也在变化。姚远提到，受芯片研发周期影响，2026 年之前，许多手机 NPU 仍主要针对 CNN、RNN 等早期架构做优化。新一代芯片开始原生支持 Transformer 的自注意力计算，端侧模型的性能有望进一步释放。

围绕硬件生态，面壁也在持续扩大合作网络。MiniCPM-V 4.7 发布当天，便完成了对

Infra：有多少内存，并不等于有多少智能

这次最受关注的，是第三驾马车。

2024 年，面壁把 8B 模型放上 iPad；2025 年，把 4B 模型放上 iPhone。如果端侧一直跑稠密模型，设备有多少可用内存，就只能装多大的模型、提供多少智能。

「难道有多少内存，就代表有多少智能吗？如果是这样，端侧模型能力的上界就被内存上限堵住了。」突破这一上限的方式，正是 Infra 层。Infra 要做的，就是在有限资源中找到最优分配方式。

MiniCPM-V 4.7 的核心解法叫前瞻专家调度（Lookahead Expert Scheduling，LES）。

以 35B-A3B 为例，即便采用较激进的 4 比特量化，模型权重仍有约 15GB，远超手机的可用内存。

不过手机的闪存容量要大得多。MoE 模型把参数分散到各个专家当中，每生成一个 token，每一层只激活其中少数几个专家。于是可以把专家权重放进闪存，等到要用时再调入内存，内存峰值便能压在约 3GB。

问题是，如何让数据搬运足够快，不拖慢推理？

一个直观的思路是「提前加载」：在计算第 L 层时，预先读取第 L+1 层需要的专家，让数据读取和计算并行。

真正的难点是，下一层到底要哪些专家，得等这一层的路由计算做完才能知道。可一层算下来只有约 1.25 毫秒，这点时间只够读进大约 8 个专家，想把 256 个专家全过一遍根本不够。

LES 的办法是提前做预测。研究团队发现，Transformer 的残差结构让相邻层的隐藏状态往往变化不大，专家选择也因此相对稳定。抓住这一点，LES 就能在当前层还在计算时，先把下一层要用的专家猜出来，并在后台把对应权重加载好。算和搬由此并行起来。

更巧妙的是，LES 只改变权重加载的时机，不改变模型实际选择的专家，因此能够在不损失精度的情况下提升速度。

配合权重存储优化、混合精度量化和 DSpark 投机解码，35B-A3B 在发布时已实现 iPhone 17 Pro Max 上超过 13 token/s、iPad Pro M4 上超过 17 token/s 的推理速度，在 iPhone 18 Pro Max 上进一步超过 20 token/s。最新的 LES 2.0 更将速度提升至 30 token/s 以上，内存占用仍维持在约 3GB，精度损失几乎可以忽略。

三个飞轮，乘法叠加

当我们问到「未来的端侧模型技术的发展方向」时，姚远认为最重要的，是这三驾马车的协同进化。

这三者各管一摊，又彼此咬合。模型给出智能能力，硬件拿出计算资源，Infra 则负责把两边对接得更顺，让硬件出的每一分算力尽量花在模型真正需要的地方，少在中间环节白白损耗。

三者的推进速度并不一致。硬件这一侧一直在稳步向前，可一颗芯片从设计到量产，常常要花好几年；模型侧从 2024 年开始明显提速，智能密度差不多每 3.5 个月就翻一倍；Infra 起步最晚，转速却是最快的。

更关键的一点在于，这三条线会互相放大。模型、硬件、Infra 各自往前走，收益按乘积叠加，整体有望拿到五到六倍以上的提升；要是再做协同设计，增益甚至可能超过七到八倍。

不过，这并不代表哪一环能顶替另一环。有人问 Infra 是不是已经比模型更重要，姚远的回答很直接：智能能力的边界始终由模型划定。「它做不到就是做不到，你把它快一万倍，输出也是 0。」

换个方向看，模型明明已经会了某项本事，却因为跑得太慢没法用，这时候 Infra 的作用就格外显眼。模型架构和计算方式一变，Infra 也得跟着调。

端侧智能的比拼，正越来越像一套全栈系统工程。光靠某一代模型领先，或者某一项推理优化，都很难攒下长期优势。真正的难题在于看清模型、硬件、应用各自往哪走，再把它们拧到一起。

智能体时代一来，端侧软硬协同又多了新的走向。

以前底层算子多由工程师手写，考虑到开发成本和后续维护，通常得兼顾跨模型、跨芯片的复用。如今 AI 能针对某一代模型、某一款芯片自动生成并优化算子，复用性甚至不必多想。

姚远说，面壁智能内部已有智能进化实验室在做这件事，并且已经登上英伟达、华为的官方算子榜首位。在他看来，AI 自动写算子还有望进一步挖出端侧硬件的潜力，给未来的软硬协同添出新的想象空间。

对三驾马车之间可能卡住的地方，姚远并不担心。短期里某一环或许会成为瓶颈，可随着模型、硬件和 Infra 不停互相磨合，这些限制会一点点被冲开，「会在动态的过程中趋于完全贴合，最大地发挥端侧智能的上限。」

端侧智能的「撞线前夜」：

从端云协同到智能平权

要谈端侧智能的未来，得先看用户对智能的需求。

这类需求大致分两种。一种基本没有上限，比如开发软件、设计芯片，智能越强越好，可真正有这种需求的人并不多。另一种是绝大多数人的日常需求，它有一个相对稳定的上限。

姚远判断，未来 10% 对智能要求极高、没有明确上限的需求会留在云端，90% 有上限的日常需求则慢慢挪到端侧。

供给这一头，端侧模型的本事也在快速上涨。从最早的文本续写、信息抽取，到现在的图像和视频理解，再到工具调用，越来越多日常需求已经能在本地搞定。

「用户不需要关心具体如何实现，只要这件事已经能做到，大家自然希望把它留在端侧完成。」

姚远觉得，计算技术的发展也遵循差不多的规律。从大型机到个人电脑，再到移动智能时代，每一次计算平台更替，背后都有技术供给与用户需求的一次「撞线」。

「宏观上我们看到的是成功公司的迭代，底层可能是技术供给与需求撞线，自然形成了时代的划分。」

计算能力还撑不起某类需求时，相关应用就很难铺开；一旦能力越过门槛，新的应用和产业机会就会冒出来。

今天的端侧智能，好比只有 256KB 内存的 PC 时代，通用智能看着还远，但一定会来。

推动智能平权的到来

35B 上了手机之后，常有人问：端侧到底该把模型做小，还是做大。

端侧过去一直讲把模型做小，如今却要在手机上跑更大的模型，路线变了吗？姚远的说法是，这两件事从来不冲突。做小，是为了在同一档硬件上对标更强的模型；硬件一直在进步，能塞进去的旗舰模型自然越来越大。从最早的 1B、2B，到后来的 7B、8B，再到今天的 35B-A3B，面壁智能盯的始终是「在端侧上提供最强的智能」。

这也是他眼中端侧和云端模型底层逻辑不一样的地方。云端手里的计算资源通常更宽裕、还能扩展，加参数、加算力就能换性能。端侧却被内存、芯片性能和功耗卡得很死，每一分资源都得省着用。

姚远觉得，硬件本身还有余力，却被模型和推理技术卡住发挥不出来，这等于白费。面壁因此把两条路一起推：一头「摸高」，持续顶高端侧智能的能力天花板；一头「普惠」，让更多寻常设备也跑得动足够强的模型。

门槛低的那一头已有成果。上一代 MiniCPM-V 4.6 在苹果、安卓、鸿蒙的千元机上就能顺畅跑起来，几百元的机器也能做到每秒 15 个 token 以上，这一代的 1B 版本顺着这条路继续往上走。

要让端侧智能铺开，光等更贵更强的手机上市不够，还得让手里已有的普通设备跑上更好的模型。

开源，再把门槛往下压一压

让模型跑在更多设备上只是一面，面壁智能还想借开源，让开发者和普通用户都真正用得上。

MiniCPM-V 4.7 这次发布，面壁把模型权重、端侧推理代码、App 安装包和微调方案一并放了出来。开发者用同样的设备下载后，就能复现官方演示的效果，经得起开源社区验证。

「最懂一个场景的，是身在其中的人。」研究团队认为，实验室里练出来的通用模型能解决不少问题，可真实世界里还有大量细碎需求，散落在不同人的工作和生活里。

面壁智能想给出一套足够简单的办法，让开发者按自己的场景快速调模型，教会它新任务，同时尽量不丢原有能力。

对没有技术背景的普通用户，团队也在继续降门槛。按团队的说法，后续计划把模型以 Skill 的形式接进各类智能体。用户只要把官网链接发给自己常用的智能体，说一句「我要用这个模型」，调用就完成了。新发布的 MiniCPM OCR 已经开了类似入口，MiniCPM-V 系列后面也打算跟上。

下载模型、配环境、调能力，这一串原本得开发者动手的事，以后可能一句话就能搞定。

开源同时也在给面壁带来生意。

海外社区里，已经有开发者拿 MiniCPM 做智能眼镜、App 等产品。这些由开发者自己摸索出来的应用，将来都可能成为商业化的起点。

对面壁来说，开源的价值也正慢慢显出来：模型进到更多设备、被更多开发者用，才能撞见实验室里未必看得见的需求，并在真实场景里不断打磨。

端侧智能能不能迎来自己的时代，说到底看技术供给能不能迈过用户需求那道坎，迈过去之后又有多少人真能享受到。从追更强的模型，到压低硬件和使用门槛，再到靠开源社区铺应用，面壁正试着让这两件事一起发生。

尾声：普惠本身就很伟大

端侧 AI 的硬件底子正在快速铺开。

IDC 预测，2026 年中国新一代 AI 手机出货量将达到 1.47 亿台，占整体市场的 53%。也就是说，每卖出两部新手机，就有一部带端侧 AI 能力。

可对眼下的「AI 原生手机」，姚远认为「我们对 AI 原生手机的想象力还远远不够。」

「我们只能把一些显而易见的东西让 AI 帮我，很局部地解一下，省掉一点点时间。」往后或许该想想：理想中的手机是什么样？把现在这些先放一边——思路还是这个：用户是很有个性的。把这个形态想明白，再靠技术驱动去实现，可能是更好的做法。

甚至，「AI 原生手机」这个概念本身也可能只是过渡。好比今天很少有人特意提「智能手机」，将来每部手机都内置 AI，智能会无处不在。不过，在智能真正无处不在之前，还有个更现实的问题要答：每个人能拿到的智能，该不该由设备价格来定？

以往端侧模型往往跟着硬件配置「降级」，价格低的设备，智能也更有限。面壁想改掉这个局面，让尽量多的人，不管手里是什么设备，都能用上足够好的 AI 能力。

「普惠这件事本身就足够伟大。」姚远说。

普惠最要紧的价值，是让那些经济、物质条件还没到某个门槛的人，也能用上最好的技术。更关键的是，他们拿到的不只是用工具的机会，还有参与创造的可能。

AI 编程已经让不少没有专业编程背景的人能独立开发软件，普通人也开始借大模型处理过去得靠专业知识才能解决的问题。智能的使用门槛足够低，更多人就有机会把自己的想法变成现实。

回头看，端侧智能这几年的进步确实够惊人。

三年前，像 GPT-4V 这样的云端旗舰模型，看上去和手机之间还横着一道算力上难以逾越的鸿沟；如今，部分能力已能超过当年云端旗舰的模型，已经能在一部断网的 iPhone 上跑起来。智能从云端落到掌心，过去只有少数云端厂商才拿得出来的东西，正往越来越普通的设备里走。看 AI 进步，不能只盯着最强的模型有多聪明，还得看有多少人真能用上这些智能。

一部几百元的手机，要是也能给主人提供足够强的智能支持，AI 带来的改变才会真正渗进更多人的日子。

面壁智能想做的，就是让这样的未来早一点到。