淘宝MNN 团队开源 MNN-Pocket-0.3B，iPhone 18 Pro 离线解码飙升至 350 token/s
淘宝MNN 团队开源 MNN-Pocket-0.3B，iPhone 18 Pro 离线解码飙升至 350 token/s
淘宝旗下MNN团队把一款面向手机应用的轻量化大语言模型开源了，名字叫MNN-Pocket-0.3B，参数规模约3亿。它瞄准的是手机等移动设备的资源预算和任务需求，在内存占用和能耗都压得很低的前提下，跑出了接近云端的高速响应和综合任务能力。
淘宝MNN团队把“手机应用原生大模型”拆成了四项核心指标：解码吞吐超过200token/s、峰值内存低于300MB、单次推理能耗极低，还要有足够强的指令遵循与多任务扩展能力。目标就是让大模型在移动设备上真正“无感运行”。
实际表现方面，苹果iPhone18Pro真机上通过MNN推理引擎完全离线运行，平均解码速度约350token/s。iPad Pro M5的Metal后端测试中，Prefill吞吐达到8，721token/s，Decode吞吐466token/s，约为同条件下Qwen3-0.6B的1.63倍。
体积和内存同样被压得很紧：INT4MNN部署文件只有173MB。iPad Pro M5测试配置下，峰值内存增量仅228MB。同一测试里，Qwen3-0.6B部署体积340MB、峰值内存增量427MB，两相对比，MNN-Pocket-0.3B部署体积缩减约49%，内存增量减少约47%，给手机系统的图片、视频及其他业务模块留出了充足空间。
功耗方面，团队在一加13（骁龙8至尊版）上对4-bit模型做了测试。基准负载下，执行100次同等负载任务，累计增量能耗只占手机电池总电量的0.3%左右，端侧AI耗电发热的顾虑基本可以放下。
词表也做了精简。为更好适配中文互联网环境，团队把词表从约151K缩到64K，缩减幅度57%，词嵌入与输出层的参数开销随之降低。
多项评测中，MNN-Pocket-0.3B登顶同规模模型之首，实际任务表现和学术基准评测都展现出远超其参数体量的爆发力。
具体数字上，英文IFEval得分73.20，自建中文指令遵循IFEval-zh得分74.59，在同类对比模型中均名列前茅。涵盖中英文知识、推理、数学、代码及指令遵循的11项综合评测中，平均得分50.00，全面超过MiniCPM4-0.5B、Qwen3-0.6B等更大规模的同类模型。中文数学MGSM-zh得分51.20，代码生成HumanEval得分53.66。
从预训练、后训练到端侧部署，MNN团队把多个版本全流程开源，方便不同场景做深度适配，也让技术成果更快转化为真实业务生产力。
MNN-Pocket-0.3B-Base面向继续预训练、领域适配与基础能力研究；MNN-Pocket-0.3B-SFT则面向后训练研究、强化学习、蒸馏与消融实验。
MNN-Pocket-0.3B适用于通用指令调用与各类业务任务的深度适配。MNN-Pocket-0.3B-MNN是采用W4A16QAT的端侧专属部署版本，配合MNN推理引擎的低比特算子与硬件后端优化，特定设备上解码吞吐可拉满至466token/s。
MNN-Pocket-0.3B-DFlash2针对DFlash2投机解码草稿模型设计，配合块级生成与验证实现，特定任务下解码吞吐可达常规自回归解码的2.06倍。
MNN-Pocket-0.3B-Dec则通过决策头精准完成候选选择类任务。
