小米开源Xiaomi-OCR-0：0.8B参数，识屏能看懂文档

智东西10月31日消息，昨晚小米把轻量级全能文档理解模型Xiaomi-OCR-0发布并开源，参数只有0.8B（8亿），文档解析、关键信息抽取、视觉问答三类能力被塞进同一个模型，多项权威基准上成绩领先。

取餐码被消息刷过去、海报上的时间地点还得自己敲进日历、账单的金额和商户要一项项抄——不少人碰过这类小麻烦。问题也随之而来：手机能不能不光“看见”屏幕上的内容，还“看懂”它，并在需要时把下一步顺手做掉？

Xiaomi-OCR-0就是冲着这个需求来的。它体量小，文字、版面、位置和语义理解都照顾到了，复杂表格、论文、票据的结构化解析也能处理。小米手机上“超级小爱”的一键识屏，背后对应的正是OCR从“文字识别”走向“文档理解”这条线。

综合文档解析的权威基准OmniDocBench v1.6里，该模型拿到96.83分，是1B以下模型中的第一；五项文档VQA平均分83.2，超过HunyuanOCR、TokenVL、TextHawk、Qwen3.5-2B、MiniCPM-V-4.5等模型，离参数更大的Qwen3.5-4B也不远。

小米会完整公开0.8B模型权重和推理代码，浏览器交互式Demo、MCP服务、Agent Skill工具包也一并提供。

Hugging Face模型权重： https://huggingface.co/xiaomi-research/Xiaomi-OCR-0 GitHub项目代码： https://github.com/xiaomi-research/Xiaomi-OCR-0 Agent一键体验口令：Read and execute https://raw.githubusercontent.com/xiaomi-research/Xiaomi-OCR-0/main/SKILL.md

一、0.8B“三合一”：看懂版面、抽出关键信息、会答题

真实文档的形态很杂：学术论文里公式密集还跨行，财务研报的表格一层套一层，卡证票据的字段键值关系藏在版式里；打印、拍摄、屏幕翻拍又会带来弯曲形变、透视倾斜、光照阴影和摩尔纹。实用的文档智能系统光“认得出字”不够，还得“拆得开结构、提得出字段、答得上问题”。

Xiaomi-OCR-0在0.8B的轻量架构里，把三类能力放在一起建模：

1、文档解析：识别并还原正文、复杂表格和数学公式，按自然阅读顺序生成结构化结果，原生支持Markdown、LaTeX等格式输出，方便编辑、建知识库和检索增强。

2、关键信息抽取（KIE）：面向发票、收据、卡证和业务表单等半结构化文档，按指定字段定位并抽取目标信息，输出JSON等标准结构化数据，对接自动化处理工作流。

3、OCR视觉问答（VQA）：围绕文档与图表做跨区域检索、数值计算和语义推理问答，让视觉文本能交互式理解。

结构解析和语义理解合到一起，Xiaomi-OCR-0用轻量参数把从底层感知到高层认知的链路都覆盖了。

二、真实解析基准登顶，0.8B模型匹敌Qwen3.5-4B

只有8亿参数的轻量模型，复杂文档解析和高层语义理解这两道关，它扛得住吗？

真实物理采集条件下，文档常带噪点、弯曲、透视、摩尔纹和反光。Real5-OmniDocBench以OmniDocBench v1.5的1355页多样化文档为基础，用扫描、纸张弯曲、屏幕翻拍、光照变化和倾斜拍摄五种方式做出6775张测试图像。Xiaomi-OCR-0在这个基准上得95.24分，对比模型中排第一。聚焦打印形变、阴影、反光和复杂透视的Wild-OmniDocBench上，模型得分87.94。

综合文档解析权威基准OmniDocBench v1.6覆盖学术论文、财务报告、报纸、教材等版式，复杂嵌套表格与密集数学公式的考察也加重了。Xiaomi-OCR-0得分96.83，以约三分之二参数量（0.8B vs. 1.2B）排总榜第二，和榜首只差0.04分，1B以下模型里排第一。

数学公式识别基准UniMER-Test得分97.84，表格结构识别基准PubTabNet得分92.27。涵盖隶书、草书、行书与楷书的古籍与书法评测集Chronicles-OCR（Mature Scripts）中，模型得73分，和闭源大模型Seed 2.0 Pro的72分在同一水准。

文档理解这块，Xiaomi-OCR-0在DocVQA、InfoVQA、ChartQA、OCRBench和TextVQA五项主流OCR视觉问答基准上平均83.2分。这一成绩超过HunyuanOCR-1.5（1B，76.5分）、TokenVL-2B（2B，78.1分）、TextHawk2（7B，78.5分）等专用OCR模型，也超过通用多模态模型Qwen3.5-2B（80.9分）与MiniCPM-V-4.5（8B，82.6分），并以仅20%参数规模逼近Qwen3.5-4B（84.9分）。

三、1.7亿样本打底、三阶段渐进：0.8B模型“先解析后理解”

Xiaomi-OCR-0以Qwen3.5-0.8B-Base为基座构建，训练累计用了约1.7亿条高质量OCR与文档理解样本。团队搭了一套闭环演进的数据引擎，从三方面保证训练数据的信息密度。

一是异构专家共识机制：正文、表格、公式等不同区域，交给多个异构OCR专家模型交叉校验，再做三元组共识投票（基于1-NED、TEDS、CDM等专项指标），把单模型的偏见滤掉，留下高置信度标注。

二是渲染引导校验：复杂表格和高难度数学公式这块，引入“预测—重渲染—视觉比对”闭环，把候选解析代码重新渲染成图像，与原始文档区域做像素和结构级比对，找出行列错位、符号缺失等结构缺陷并修正。

三是多阶段渐进式训练。据智东西报道，整套流程让模型先学会解析，再练理解。

三是把困难样本的挖掘和定向合成做了多因素结合。版面复杂度、字体形态、物理退化这些因素都被纳入进来，团队据此持续找模型的能力短板，再定向合成样本，覆盖多语种、古籍手写、屏幕摩尔纹以及扭曲光照，把长尾分布补齐。

训练走的是三阶段渐进式路线。第一阶段是Q-Mask文本锚定，在特征对齐初期，把视觉局部区域与文字Token之间的细粒度空间锚定强化起来。第二阶段做OCR持续预训练，用百亿级Token规模的多任务混合训练，让模型具备全页文档解析、细粒度区域识别与视觉问答的综合基座能力。第三阶段是混合任务强化学习，在困难样本上引入可验证奖励信号，信号依据结构编辑距离、表格匹配度和问答准确率，用来突破复杂版式还原与多步推理的性能上限。

课程学习上还有一条规律被团队注意到：模型早期解析基础没打稳的时候，过早掺入高层理解任务，会稍微分散底层的识别注意力。等解析根基扎实了，再引入OCR视觉理解监督信号，问答与抽取能力会提升，纯文档解析基准也跟着受益，在OmniDocBench v1.6上最多能多拿+0.64分。

四、场景落地：取餐码上岛、账单自动记、航班直接问

Xiaomi-OCR-0相关技术体量只有0.8B，靠的是解析加理解的能力，眼下正往小米手机和“超级小爱”的高频场景里融。终端体验也因此从“被动截屏查找”转向“主动理解服务”。

即时生活服务这类场景里，外卖取餐码、驿站快递取件码、退货码、景区寄存柜号、餐厅排队号常常被消息淹没。用户不用在App之间来回切：短按AI键、三指上滑，或者对超级小爱说一句“记一下”，系统就能认出屏幕上的核心字段与状态，把时效性信息提炼“上岛”，要用的时候一触即达。

财务管理和卡证办理也一样。在微信、支付宝里翻消费账单详情，按AI键，交易金额、商户名称、支付时间与消费类别会被自动抽出来，一键完成智能记账；纸质发票、身份证、银行卡这些材料，拍照或者识屏就能完成结构化字段提取。

日程规划和出行场景中，群聊里的会议通知、活动海报上的时间地点，系统能读懂上下文，生成日程卡片，一键加进日历。收到航班号，比如“我的航班号是国航 CA824”，直接问“这个航班还有多久到”，系统会结合屏幕上下文提取航班信息，联动查询实时起降动态。

结语：0.8B开源抢生态：文档智能进入“效率战”

文档解析、信息抽取与视觉问答，被小米用0.8B参数压进了同一个模型，在真实拍摄、复杂表格等基准上越级对标更大的模型。文档智能的竞争焦点也随之从“堆参数”转向“参数效率+真实场景鲁棒性”。

权重、推理代码与Agent工具链这次是同步开源的。对产业来说，端侧和智能体集成文档理解能力的门槛有望降低，OCR也从单点工具变成可被调用的基础能力。生态卡位的意义，大于单次评测排名。