Jay发自凹非寺，量子位公众号QbitAI

把RSI用到OCR上，效果能有多猛？最近有个国产开源模型，参数量只有1.3B，却在文档解析上打出了压倒性表现。

OmniDocBench、olmOCR-Bench和DocParsingBench，三个榜单全部排在第一。

跑分先放一边，直接看效果图。

高数里那种老式手写笔记，一键就能转成MD。

化学结构图它也能画出来。

基本上什么都能解析，确实有点离谱。

更让人意外的是速度也快得离谱。单张RTX PRO 6000，跑完100页端到端文档解析，只用了101秒。

这下A社蒸馏纸质书的效率怕是得起飞了（bushi）。

海外开发者社区同样热度不低，GitHub Star已经拿到1.1K+，还一度登上推特最热Daily News。

而这一切，都绕不开当下AI行业最受关注的那个概念——

RSI。

这个带自进化能力的OCR新物种叫OXR，全称Optical「Everything」Recognition。

三榜全球第一

文档解析这座山，听着好像没什么技术含量，可到今天也没被完全攻克。传统OCR碰到一份看着平平无奇的PDF，很多时候就是灾难现场。

双栏论文读成串行，手写公式识别出来是一堆乱码，跨页大表格的结构直接崩掉，化学结构式更惨，不少工具干脆当杂乱线条丢掉。

这种劣质提取一旦丢进RAG，模型再聪明，下游的Tool Call也全都得歇菜。

这个卡住AI获取高质量上下文的壁垒，如今终于被打破了。

• OmniDocBench：97.18，第一（上海人工智能实验室开源，覆盖10类复杂文档）
• olmOCR-Bench 拿到 87.84，排第一；这套测试由海外知名人工智能机构 Ai2 团队推出，包含 7000 多道单元测试级硬核题目。
• DocParsingBench 以 87.76 位列第一（#1），覆盖 5 大行业、14 个真实业务场景。

OXR 是一个开源文档解析模型，三项世界级榜单它全都拿了头名。

整套评测流程连同代码也全部开源，可以复现。

我简单上手试了试，感觉确实不太一样，总算不再像以前那样“人工智障”了。

过去的工具，我基本只指望它把图变成字，剩下的事还得靠 AI 自己推理意会。

OXR 则能一次吞下 13 类文档元素：

表格、公式、代码块、图片、化学方程式、脚注、页眉、页脚、印章……

放到具体场景里看，效果是这样——

杂志页面能被输出成保留完整语义结构和阅读顺序的结构化 MD。

数理公式则直接转成标准 LaTeX 代码。

文献？

也不用再让 LLM 慢吞吞地调用工具去读了，双列排版同样不影响质量。

甚至连数学试卷也能解析？

照这么看，以后 GPT 帮小学生写暑假作业能更顺手了 o(╥﹏╥)o。

当然，最让人激动的还是开源这件事。

要知道，这类垂直小模型开源，和 LLM 开源的意义差别很大。

说实话，LLM 开源虽好，可跟普通用户基本没太大关系。

哪怕只是一个 27B 的模型，本地部署成本也高得离谱，起码得上一块 M5 Pro 64G，这还没算输出速度的问题。

可 OXR 只有 1.3B 啊……

什么概念？

拿一张 RTX 3060，基本就能满血跑起来，等于可以无限薅羊毛。

海外开发者们也因此皆大欢喜。

有点东西。

那么，一个 1.3B 的文档解析模型，到底是怎么把准确率做到 SOTA 的？

秘密全在后训练里——

居然靠的是 RSI？

揭秘RSI训练

长期以来，行业里有个固定的想法：AI想做到极高精度，就得把模型堆到百亿级，再喂进海量人工标注。

可文档解析这行，标注数据其实是个填不满的坑。排版千奇百怪，专业公式、代码、图表又错综复杂，纯靠人工标注，成本高得离谱，出错率本身也吓人。

真实世界里的长尾Bad Case根本穷尽不完。工程师费劲挑出坏样本、人工修正、重新训练，好不容易发个新版本，碰上新的奇葩排版照样挂。

数据准备的速度，就这么死死卡住了模型进化的脖子。

团队在这件事上做了比较激进的探索。他们发现，文档解析一直有个容易被忽视的特性：每一份输入都有客观确定的标准答案。文字对不对、表格跨行跨列有没有错、公式符号有没有漏，全都能精确测量。

既然对错能客观判断，那何必还等人类来擦屁股？

想通这一点后，OXR做了个决定：在后训练阶段引入面向文档解析的递归自我改进（RSI）训练范式。

不靠新增人工标注，让AI系统自己找错、自己分析原因、自己准备下一轮训练数据、自己迭代进化。

整个RSI过程大致分三个阶段。

1、预测与分类（Prediction&Classification）

OXR先去解析海量无标签的真实文档。

接着通用多模态模型（General VLM）上场，结合原始图像、解析结果和评判标准，把样本切成三类：

• Correct：完全正确，直接通过。
• Wrong：明确判错，送去深度剖析。
• Uncertain：预测不稳定，或者处在分布边缘，同样送去分析。

留下Uncertain这一档，是个挺反直觉的Know-How。只给模型Correct和Wrong两个非黑即白的选项，评判模型的犹豫就会被强行包装成确定标签，毒素最后喂进下一轮训练。

引入Uncertain之后，模型拿不准的样本就有了兜底去处。

此外，OXR还会让模型对自身做多轮rollout采样。同一份文档跑上几次，若结果差异很大，就说明模型心里没底；这种情况哪怕某次侥幸答对，该样本也会被归入Uncertain集合。

随后，在语义保持不变的前提下，系统对这些高分歧样本施加轻微图像扰动，包括小幅缩放、压缩、轻微模糊或平移。扰动之后分歧若进一步拉大，就表明模型对这类无害的视觉变化过于敏感，该扰动随即被记为一条核心病因，用来直接指导下一轮针对性补强。

2、归因与训练规划（Attribution&Training Planning）

错样本和弱样本筛出来以后，不能直接胡乱喂回模型，先得弄清它到底卡在哪一步。

这一阶段，General VLM会像一位老医生那样逐样本诊断：问题出在跨列单元格对齐失败，还是手写连笔识别出错？诊断得到的自然语言原因会送入SigLIP2提取特征向量，再由独立的聚类模型聚类，形成清晰的原因簇（Reason clusters）。

打个比方，一张财务报表和一份化学实验记录表，外观与文字几乎毫无交集，可一旦归因聚类发现两者都败在某种罕见的跨行跨列结构上，这个共性就会被提炼成一个共同的数据构造方向。

这就是精准打击，哪里薄弱就补哪里。

3、数据生成（Data Generation）

原因簇一旦明确，生成器便知道该练什么题。

OXR的做法是让原因簇给出结构难点，让真实样本池提供版式与视觉风格的参照。每生成一批新数据，都会从真实样本里抓取排版风格作为锚点，再把待攻克的结构难点自然融入其中。

扰动测试中暴露的视觉脆弱点，同样会被系统地编进合成管线，逼模型在练习中反复脱敏。

生成的数据通过严格规范校验后，直接回流用于训练下一代OXR。一轮下来，模型短板得到补齐；新一轮真实文档再跑，又会冒出新的短板，推动下一轮迭代。

RSI就此成型。数据分布也在每一轮迭代中变得更为完备、更为扎实。

这正是OXR能做到如此高智能密度的原因：数据质量足够高时，模型无需再靠臃肿的参数量去死记硬背。

架构轻巧可插拔

数据和算法聊完，接着看下一个问题。

准确度排第一，还能理解。可速度也拿了第一，这就有点让人摸不着头脑了。

在单张RTX PRO 6000上，OXR把100页文档端到端解析完只用101.0秒，在开源方案里排第一。

一开始我以为是参数小带来的好处。后来才看明白，文档解析这件事，只靠模型小根本办不到。

里面藏着不少反直觉的Know-How。

回头看这两年文档解析技术的演变，行业其实经历了好几个阶段。

最早流行的是Pipeline，检测、识别、排序各用一个独立的专有模型，拼在一起非常臃肿，维护成本高得吓人。

随后VLM热了起来，大家意识到所有任务说到底都是图片到序列的映射，于是试着用端到端大模型一把梭，让大模型直接把整页的文字和排版吐出来。

思路是优雅，可速度慢得像蜗牛，自回归生成长序列太耗算力。

再往后，PaddleOCR-VL迈出了很漂亮的一步：把版面分析（LA）和阅读顺序（RO）并成一个小模型，后面再接识别模型，形成两个模型、两个阶段。

版面检测的速度因此被拉回传统目标检测的毫秒级，这套做法也成了这两年的行业标准解法。

可是，这就完美了吗？并没有。每多一条版面标注，就得硬绑上一条阅读顺序标注，数据处理的难度直接翻倍。

OXR团队反复推演之后，拿出了一套完全不同的任务级重构方案。

版面分析（LA）交给独立的轻量模型，内容识别（Recognition）和阅读顺序判断（RO）都由OXR主模型承担。

也就是：

Layout Analysis–>Recognition+Reading Order

这么一拆一合看着简单，工程上却带来了两个巨大的质变。

其一，阅读顺序造成的性能损耗被彻底抹平。整条流水线里，判断阅读顺序本来就比文本识别省时得多。

OXR把阅读顺序判断并进主模型后，时间没有额外增加，反倒借主模型本身的语义理解能力（Content-Aware），让阅读顺序判断的准确率大幅提升。

另一边，前面的版面分析模型（LA）甩掉了复杂的排序包袱，任务变得极其纯粹，可以直接换上更轻量的高效检测模型，整体吞吐量原地起飞。

其二，版面分析模块独立，而且完全可插拔。

业务场景不同，对版面的要求就互相冲突，这属于典型的长尾问题：

同样是图文混排的一块区域，内容团队想整体当一张图提取，知识库团队却想把里面的文字单独抠出来作正文；

四格漫画排得密密麻麻，业务A要整张裁切，业务B偏要拆成四张小图；

……

说白了就是极难界定，各家要的各不一样。

不过放到OXR的架构里，版面分析被做成了完全独立的可插拔模块——

改造代价压到最小，业务适配的自由度却放到最大。

碰上版面划分需求特别偏门的业务，比如古籍、医疗单据这类，你拿自己训练的私有版面分析模型直接替换进去就行，衔接是无缝的，

后头照样用OXR那套内容识别能力，不用另起炉灶。

开箱即用的生态

话说回来，既然是冲着开发者社区做的，一个模型讲得再漂亮，部署不起来也是空谈。

这一点上，官方给了免费API，不用注册，也不用申请Key。

对，一分钱不收，纯白用……

官方说法是，只要服务器负载还扛得住，这项开源免费服务就会一直维护下去。

那还客气什么，可劲儿用呗。

我于是赶紧把这个API接进了自己的写作APP。

老实讲，PDF解析这块，跟以前的方案比，效果好得不是一星半点。

另外，想本地部署的人也照顾到了。OXR对主流推理框架做了全面适配。

不用自己费劲重新编译vLLM，在官方Docker或CLI上挂载插件，服务就能一键拉起来。

现在OXR的代码、权重，连同整套基准评测的复现流程，都已经公开。

链接放在文末，有兴趣的自己去拿。

当然，需求更高的话，比如要处理Word、PPT、Excel等更多格式，或者想要更完善的后处理定制能力，可以看看官方维护的商业级引擎。

它叫SoMark。

这也是OXR团队的名字。

One More Thing

最后，我还有些个人想法，想同大家聊一聊。

如今为何仍要投入大量精力去死磕文档解析这件事？

Agent正全面接手各行各业工作流的当下，人类几十年积累下来的最核心、最专业的私域知识，绝大多数依然静悄悄躺在格式混乱、排版复杂的PDF、扫描件和报表当中。

大语言模型再聪明，一旦喂给它的输入是顺序错乱、表格破碎的字符垃圾，它输出的也只能是幻觉。

以前不少人觉得OCR技术含量不高，是搬砖的活；可从OCR走到OXR，它承担的使命已经彻底变了。

它成了人机交互的桥梁，把人类世界里形形色色的复杂多模态文档，完整无损地重构成对Agent极其友好的结构化资产。

说实话，看到国内有团队在做这些贴近工程落地的事，确实挺让人兴奋。

太多人的目光都盯着Fancy叙事，天天追前沿技术，反倒让我们忘了一件很重要的事——

用户到底需要什么？

LLM发展到眼下这个阶段，这个问题的答案，绝对不是模型智能更高。

更大的瓶颈，在那些还没人开荒、需要Get Hands Dirty的领域。

如果这件事能形成共识——

属于Agent的基础设施，会以肉眼可见的速度，一片一片拼图归位。

GitHub：https://github.com/SoMarkAI/OXR

Hugging Face：https://huggingface.co/SoMarkAI/OXR-1.0

在线Demo：
https://free-oxr.somark.cn/

免费API：
https://free-oxr.somark.cn/api/v1

SoMark官网：https://www.somark.cn