0.8B！小米开源新模型，让超级小爱识屏主动办事
取餐码上岛、账单自动记。
智东西（公众号：zhidxcom）
作者 | 李水青
编辑 | 心缘
智东西10月31日报道，昨日晚间，小米发布并开源轻量级全能文档理解模型Xiaomi-OCR-0，仅0.8B（8亿）参数，将文档解析、关键信息抽取与视觉问答三类能力融于一体，并在多项权威基准中取得领先成绩。
很多人遇到过这样的小麻烦：取餐码被消息淹没、海报时间地点还要手动敲进日历、账单金额和商户信息仍需逐项摘录……这指向了一类新需求：手机能否不只“看见”屏幕内容，还能“看懂”信息，并在需要时顺手完成下一步？
Xiaomi-OCR-0正是为此而生。它体量小巧，兼顾文字、版面、位置与语义理解，能解决复杂表格、论文、票据的结构化解析难题。小米手机上“超级小爱”的一键识屏幕背后，对应的正是OCR能力从“文字识别”向“文档理解”演进。
在检验综合文档解析能力的权威基准OmniDocBench v1.6中，该模型得分96.83，成为1B以下模型第一；其在五项文档VQA平均分83.2，优于HunyuanOCR、TokenVL、TextHawk、Qwen3.5-2B、MiniCPM-V-4.5等模型，逼近参数规模更大的Qwen3.5-4B。
小米将完整公开0.8B模型权重与推理代码，同时提供浏览器交互式Demo、MCP服务以及Agent Skill工具包。
Hugging Face模型权重：
https://huggingface.co/xiaomi-research/Xiaomi-OCR-0
GitHub项目代码：
https://github.com/xiaomi-research/Xiaomi-OCR-0
Agent一键体验口令：Read and execute
https://raw.githubusercontent.com/xiaomi-research/Xiaomi-OCR-0/main/SKILL.md
一、0.8B“三合一”：看懂版面、抽出关键信息、会答题
真实文档形态复杂：学术论文有密集跨行公式，财务研报有嵌套表格，卡证票据隐含字段键值关系；打印、拍摄、屏幕翻拍还会带来弯曲形变、透视倾斜、光照阴影和摩尔纹干扰。实用文档智能系统不仅要“认得出字”，还要“拆得开结构、提得出字段、答得上问题”。
Xiaomi-OCR-0在0.8B轻量级架构中统一建模三类能力：
1、文档解析：识别并还原正文、复杂表格和数学公式，按自然阅读顺序生成结构化结果，原生支持Markdown、LaTeX等格式输出，便于编辑、知识库构建与检索增强。
2、关键信息抽取（KIE）：面向发票、收据、卡证和业务表单等半结构化文档，按指定字段定位并抽取目标信息，输出JSON等标准结构化数据，对接自动化处理工作流。
3、OCR视觉问答（VQA）：支持围绕文档与图表进行跨区域检索、数值计算和语义推理问答，实现针对视觉文本的交互式理解。
通过融合结构解析与语义理解，Xiaomi-OCR-0以轻量参数覆盖从底层感知到高层认知的链路。
二、真实解析基准登顶，0.8B模型匹敌Qwen3.5-4B
仅8亿参数的轻量级模型，究竟能否扛住复杂文档解析与高层语义理解的双重考验？
在真实物理采集条件下，文档常有噪点、弯曲、透视、摩尔纹和反光。Real5-OmniDocBench基于OmniDocBench v1.5的1355页多样化文档，通过扫描、纸张弯曲、屏幕翻拍、光照变化和倾斜拍摄五种方式构建6775张测试图像。Xiaomi-OCR-0在该基准取得95.24分，在对比模型中排名第一。在聚焦打印形变、阴影、反光和复杂透视的Wild-OmniDocBench上，模型取得87.94分。
综合文档解析权威基准OmniDocBench v1.6覆盖学术论文、财务报告、报纸、教材等版式，并强化复杂嵌套表格与密集数学公式考察。Xiaomi-OCR-0取得96.83分，以约三分之二参数量（0.8B vs. 1.2B）位列总榜第二，距榜首差0.04分，在1B以下模型中排名第一。
数学公式识别基准UniMER-Test得分97.84，表格结构识别基准PubTabNet得分92.27。在涵盖隶书、草书、行书与楷书的古籍与书法评测集Chronicles-OCR（Mature Scripts）中，模型得分73，与闭源大模型Seed 2.0 Pro的72分处于同一水准。
文档理解方面，Xiaomi-OCR-0在DocVQA、InfoVQA、ChartQA、OCRBench和TextVQA五项主流OCR视觉问答基准上取得83.2平均分。该成绩超过HunyuanOCR-1.5（1B，76.5分）、TokenVL-2B（2B，78.1分）、TextHawk2（7B，78.5分）等专用OCR模型，也超过通用多模态模型Qwen3.5-2B（80.9分）与MiniCPM-V-4.5（8B，82.6分），并以仅20%参数规模逼近Qwen3.5-4B（84.9分）。
三、1.7亿样本打底、三阶段渐进：0.8B模型“先解析后理解”
Xiaomi-OCR-0基于Qwen3.5-0.8B-Base基座构建，训练累计使用约1.7亿条高质量OCR与文档理解样本。团队构建闭环演进的数据引擎，从三方面保障训练数据信息密度。
一是异构专家共识机制：针对正文、表格、公式等不同区域，联合多个异构OCR专家模型交叉校验，并进行三元组共识投票（基于1-NED、TEDS、CDM等专项指标），滤除单模型偏见，筛选高置信度标注。
二是渲染引导校验：针对复杂表格和高难度数学公式，引入“预测—重渲染—视觉比对”闭环，将候选解析代码重新渲染为图像，与原始文档区域进行像素和结构级比对，定位行列错位、符号缺失等结构缺陷并修正。
三是多因素困难样本挖掘与定向合成：结合版面复杂度、字体形态和物理退化因素，持续挖掘能力短板，定向合成覆盖多语种、古籍手写、屏幕摩尔纹及扭曲光照的样本，补齐长尾分布。
训练采用三阶段渐进式策略：Q-Mask文本锚定在特征对齐初期强化视觉局部区域与文字Token的细粒度空间锚定；OCR持续预训练通过百亿级Token规模多任务混合训练，赋予全页文档解析、细粒度区域识别与视觉问答综合基座能力；混合任务强化学习在困难样本上引入基于结构编辑距离、表格匹配度和问答准确率的可验证奖励信号，突破复杂版式还原与多步推理性能上限。
团队还观察到课程学习规律：模型早期未建立稳固解析基础时，过早混入高层理解任务会轻微分散底层识别注意力；具备扎实解析根基后，引入OCR视觉理解监督信号不仅提升问答与抽取能力，还会反哺纯文档解析基准，在OmniDocBench v1.6上带来最高+0.64分额外增益。
四、场景落地：取餐码上岛、账单自动记、航班直接问
凭借0.8B轻量体量与解析理解能力，Xiaomi-OCR-0相关技术正融入小米手机与“超级小爱”的高频场景，推动终端体验从“被动截屏查找”走向“主动理解服务”。
即时生活服务场景中，面对被消息淹没的外卖取餐码、驿站快递取件码、退货码、景区寄存柜号或餐厅排队号，用户无需在App间反复切换；短按AI键、三指上滑或对超级小爱说“记一下”，系统可识别屏幕核心字段与状态，将时效性信息提炼“上岛”，需要时一触即达。
财务管理与卡证办理场景中，浏览微信、支付宝消费账单详情时，按AI键可自动抽取交易金额、商户名称、支付时间与消费类别，一键智能记账；面对纸质发票、身份证、银行卡等材料，可通过拍照或识屏完成结构化字段提取。
日程规划与出行场景中，看到群聊会议通知或活动海报时间地点，系统可理解上下文并生成日程卡片，一键添加日历；收到航班号（如“我的航班号是国航 CA824”）后直接提问“这个航班还有多久到”，系统可结合屏幕上下文提取航班信息并联动查询实时起降动态。
结语：0.8B开源抢生态：文档智能进入“效率战”
小米以0.8B参数把文档解析、信息抽取与视觉问答压进同一模型，并在真实拍摄、复杂表格等基准上越级对标更大模型，推动文档智能的竞争焦点从“堆参数”转向“参数效率+真实场景鲁棒性”。
更关键的是权重、推理代码与Agent工具链同步开源。对产业而言，这有望降低端侧和智能体集成文档理解能力的门槛，也让OCR从单点工具走向可被调用的基础能力，生态卡位意义大于单次评测排名。
