小米开源Xiaomi-OCR-0：0.8B参数，识屏能看懂再办事

智东西

编辑 心缘

10月31日智东西消息，小米昨晚把轻量级文档理解模型Xiaomi-OCR-0开源了出来。这个模型只有0.8B（8亿）参数，文档解析、关键信息抽取、视觉问答三样本事合在一身，多项权威基准上拿到领先成绩。

取餐码被消息淹没、海报上的时间地点还得手动敲进日历、账单金额和商户信息要一项项摘录——这类小麻烦不少人碰过。说到底，它指向一种新需求：手机除了“看见”屏幕上的内容，能不能也“看懂”这些信息，需要时再把下一步顺手做掉？

Xiaomi-OCR-0就是冲着这件事来的。它体量小，文字、版面、位置和语义理解都兼顾，复杂表格、论文、票据的结构化解析都能处理。小米手机上“超级小爱”的一键识屏，背后对应的正是OCR能力从“文字识别”走向“文档理解”。

综合文档解析的权威基准OmniDocBench v1.6里，它拿到96.83分，在1B以下模型中排第一；五项文档VQA平均分83.2，胜过HunyuanOCR、TokenVL、TextHawk、Qwen3.5-2B、MiniCPM-V-4.5等模型，已经逼近参数更大的Qwen3.5-4B。

小米这次会完整公开0.8B模型权重和推理代码，另外还给出浏览器交互式Demo、MCP服务以及Agent Skill工具包。

Hugging Face模型权重： https://huggingface.co/xiaomi-research/Xiaomi-OCR-0 GitHub项目代码： https://github.com/xiaomi-research/Xiaomi-OCR-0 Agent一键体验口令：Read and execute https://raw.githubusercontent.com/xiaomi-research/Xiaomi-OCR-0/main/SKILL.md

一、0.8B“三合一”：看懂版面、抽出关键信息、会答题

文档在现实中往往又杂又乱：学术论文中，公式常跨越多行且排得极密；财务研报的表格一层套一层；卡证票据的字段与取值之间还藏着隐含的键值对应。再加上打印、拍摄、屏幕翻拍造成的弯曲形变、透视倾斜、光照阴影以及摩尔纹干扰。只会“认字”远远撑不起一套好用的文档智能系统，它还得能拆结构、抽字段、回答问题。

Xiaomi-OCR-0在0.8B的轻量架构里，把三类能力统一建模：

1、文档解析：识别并还原正文、复杂表格和数学公式，按自然阅读顺序产出结构化结果，原生支持Markdown、LaTeX等格式输出，方便编辑、搭建知识库和检索增强。

2、关键信息抽取（KIE）：面向发票、收据、卡证和业务表单这类半结构化文档，按指定字段定位并抽出目标信息，输出JSON等标准结构化数据，对接自动化处理流程。

3、OCR视觉问答（VQA）：能围绕文档和图表做跨区域检索、数值计算和语义推理问答，让视觉文本可以交互式理解。

结构解析和语义理解融合起来之后，Xiaomi-OCR-0用轻量参数打通了从底层感知到高层认知的链路。

二、真实解析基准登顶，0.8B模型匹敌Qwen3.5-4B

只有8亿参数的轻量模型，复杂文档解析和高层语义理解这两道关，它到底扛不扛得住？

真实物理采集条件下，文档常带噪点、弯曲、透视、摩尔纹和反光。Real5-OmniDocBench以OmniDocBench v1.5的1355页多样化文档为基础，用扫描、纸张弯曲、屏幕翻拍、光照变化和倾斜拍摄五种方式造出6775张测试图像。Xiaomi-OCR-0在这个基准上得95.24分，对比模型中排第一。聚焦打印形变、阴影、反光和复杂透视的Wild-OmniDocBench上，它拿到87.94分。

综合文档解析权威基准OmniDocBench v1.6覆盖学术论文、财务报告、报纸、教材等版式，并加重了复杂嵌套表格和密集数学公式的考察。Xiaomi-OCR-0得96.83分，以约三分之二的参数量（0.8B vs. 1.2B）排在总榜第二，比榜首低0.04分，在1B以下模型里居首。

数学公式识别基准UniMER-Test上它得97.84分，表格结构识别基准PubTabNet上得92.27分。涵盖隶书、草书、行书与楷书的古籍与书法评测集Chronicles-OCR（Mature Scripts）中，模型得73分，和闭源大模型Seed 2.0 Pro的72分在同一水准。

文档理解这块，Xiaomi-OCR-0在DocVQA、InfoVQA、ChartQA、OCRBench和TextVQA五项主流OCR视觉问答基准上平均83.2分。这个成绩超过了HunyuanOCR-1.5（1B，76.5分）、TokenVL-2B（2B，78.1分）、TextHawk2（7B，78.5分）等专用OCR模型，也超过通用多模态模型Qwen3.5-2B（80.9分）与MiniCPM-V-4.5（8B，82.6分），用仅20%的参数规模逼近Qwen3.5-4B（84.9分）。

三、1.7亿样本打底、三阶段渐进：0.8B模型“先解析后理解”

Xiaomi-OCR-0建在Qwen3.5-0.8B-Base基座上，训练累计用了约1.7亿条高质量OCR与文档理解样本。团队搭了一套闭环演进的数据引擎，从三个方面保证训练数据的信息密度。

一是异构专家共识机制：正文、表格、公式等不同区域，交给多个异构OCR专家模型交叉校验，再做三元组共识投票（依据1-NED、TEDS、CDM等专项指标），把单模型的偏见滤掉，只留高置信度标注。

二是渲染引导校验：复杂表格和高难度数学公式这块，引入“预测—重渲染—视觉比对”的闭环，把候选解析代码重新渲染成图像，再跟原始文档区域做像素和结构级比对，找出行列错位、符号缺失这类结构缺陷并改正。

三是多因素困难样本挖掘与定向合成：结合版面复杂度、字体形态和物理退化因素，持续找能力短板，定向合成多语种、古籍手写、屏幕摩尔纹及扭曲光照的样本，把长尾分布补齐。

训练分三步渐进推进。第一步是Q-Mask文本锚定，在特征对齐早期把视觉局部区域与文字Token的空间对应关系压得更紧；第二步做OCR持续预训练，用百亿级Token规模的多任务混合训练，让模型具备全页文档解析、细粒度区域识别和视觉问答的综合基座能力；第三步是混合任务强化学习，针对困难样本引入可验证奖励信号，依据结构编辑距离、表格匹配度和问答准确率打分，把复杂版式还原与多步推理的性能上限往上推。

团队还总结出一条课程学习规律：模型还没打好解析基础时，过早掺入高层理解任务，会稍微分散底层识别的注意力；等解析根基扎实了，再引入OCR视觉理解监督信号，问答和抽取能力上去了，纯文档解析基准也跟着受益，在OmniDocBench v1.6上最多还能多拿+0.64分。四、场景落地：取餐码上岛、账单自动记、航班直接问

0.8B的轻量体量加上解析理解能力，让Xiaomi-OCR-0的相关技术开始进入小米手机和“超级小爱”的高频场景，终端体验也从“被动截屏查找”转向“主动理解服务”。

即时生活服务这类场景里，外卖取餐码、驿站快递取件码、退货码、景区寄存柜号、餐厅排队号经常被消息淹没。用户不用在App之间来回切：短按AI键、三指上滑，或者对超级小爱说一句“记一下”，系统就能认出屏幕上的核心字段和状态，把有时效的信息提炼“上岛”，要用时一触即达。

财务管理和卡证办理也一样。在微信、支付宝里翻消费账单详情，按AI键就能自动抽出交易金额、商户名称、支付时间与消费类别，一键智能记账；碰到纸质发票、身份证、银行卡这些材料，拍照或识屏都能完成结构化字段提取。

日程规划和出行场景中，群聊里的会议通知、活动海报上的时间地点，系统能读懂上下文并生成日程卡片，一键加进日历；收到“我的航班号是国航 CA824”这样的信息后，直接问“这个航班还有多久到”，系统会结合屏幕上下文提取航班信息，联动查询实时起降动态。

结语：0.8B开源抢生态：文档智能进入“效率战”。小米用0.8B参数把文档解析、信息抽取与视觉问答塞进同一个模型，在真实拍摄、复杂表格等基准上越过自身规模去对标更大的模型，文档智能的竞争焦点也从“堆参数”转向“参数效率+真实场景鲁棒性”。

更关键的一步是权重、推理代码与Agent工具链一起开源。对产业来说，端侧和智能体接入文档理解能力的门槛有望降低，OCR也从单点工具变成可被调用的基础能力，生态卡位的意义大过单次评测排名。