淘宝MNN 团队开源 MNN-Pocket-0.3B，iPhone 18 Pro 离线解码飙升至 350 token/s
人工智能端侧部署领域迎来重磅进展。淘宝旗下 MNN 团队正式宣布开源面向手机应用的轻量化大语言模型 —— MNN-Pocket-0.3B。该模型拥有约3亿参数，专为手机等移动设备的资源预算与任务需求量身打造，在极低的内存占用和能耗下，实现了媲美云端的高速响应与出色的综合任务能力。 极致轻量化设计:体积缩减近半，峰值内存
淘宝旗下 MNN 团队近日开源了一款面向手机应用的轻量化大语言模型 MNN-Pocket-0.3B。该模型参数规模约3亿，围绕手机等移动设备的资源预算与任务需求设计，在内存占用和能耗都很低的前提下，做到了接近云端的高速响应和综合任务能力。
轻量化是这次的重点：体积缩小近一半，峰值内存压在300MB 以内
要让大模型在移动设备上真正“无感运行”，淘宝 MNN 团队把“手机应用原生大模型”拆成四大核心设计指标：解码吞吐超过200token/s、峰值内存低于300MB、单次推理能耗极低，以及指令遵循与多任务扩展能力要足够强。
实际性能上，这款模型的表现相当亮眼：
离线速度惊人：在苹果 iPhone18Pro 真机上，借助 MNN 推理引擎完全离线运行，平均解码速度约350token/s。iPad Pro M5的 Metal 后端测试中，Prefill 吞吐高达8，721token/s，Decode 吞吐为466token/s，约是同条件下 Qwen3-0.6B 的1.63倍。
体积和内存占用都很小：INT4MNN 部署文件只有173MB。在 iPad Pro M5测试配置下，峰值内存增量仅228MB。同场测试的 Qwen3-0.6B 部署体积为340MB、峰值内存增量427MB，对比之下 MNN-Pocket-0.3B 部署体积缩减约49%，内存增量减少约47%，给手机系统的图片、视频及其他业务模块留出了充足空间。
功耗同样很低：团队在一加13（骁龙8至尊版）上对4-bit 模型做了功耗测试。基准负载下，执行100次同等负载任务，累计增量能耗只占手机电池总电量的0.3% 左右，用户对端侧 AI 耗电发热的顾虑基本可以打消。
词表架构也做了精简：为更好适配中文互联网环境，词表从约151K 压缩到64K，缩减幅度57%，词嵌入与输出层的参数开销随之下降。
综合能力越级：多项评测在同规模模型中排到首位
实际任务和学术基准评测中，MNN-Pocket-0.3B 的表现远超其参数体量所对应的水平。
评测数据显示，该模型英文 IFEval 得分73.20，自建中文指令遵循评测 IFEval-zh 得分74.59，在同类对比模型中均居前列。涵盖中英文知识、推理、数学、代码及指令遵循的11项综合评测里，平均得分50.00，超过 MiniCPM4-0.5B、Qwen3-0.6B 等规模更大的同类模型。其中中文数学 MGSM-zh 得分51.20，代码生成 HumanEval 得分53.66。
全版本全部开源：面向研究者与开发者
为推动技术成果落地为真实业务生产力，MNN 团队把预训练、后训练到端侧部署的全流程都开源了多个版本，方便不同场景深度适配：
MNN-Pocket-0.3B-Base：用于继续预训练、领域适配与基础能力研究。
MNN-Pocket-0.3B-SFT：面向后训练研究、强化学习、蒸馏与消融实验。
MNN-Pocket-0.3B：适合通用指令调用以及各类业务任务的深度适配。
MNN-Pocket-0.3B-MNN：端侧专属部署版本，采用 W4A16QAT，配合 MNN 推理引擎的低比特算子与硬件后端优化，特定设备上解码吞吐可拉满至466token/s。
MNN-Pocket-0.3B-DFlash2：为 DFlash2投机解码草稿模型设计，配合块级生成与验证实现，特定任务下解码吞吐可达常规自回归解码的2.06倍。
MNN-Pocket-0.3B-Dec：借助决策头精准完成候选选择类任务。
