Jay发自 凹非寺

把RSI用到OCR上，效果真有这么猛？

最近冒出一个国产开源模型，参数量只有1.3B，却在文档解析上把对手打了个遍。

OmniDocBench、olmOCR-Bench和DocParsingBench，三个榜单全是第一。

跑分先放一边，直接看效果。

高数里那种古法手写笔记，一键就能转成MD。

连化学结构图都能画出来。

说白了，基本什么都能解析。

没想到的是，速度也快得离谱。

一张RTX PRO 6000，端到端跑完100页文档解析，只用了101秒。

这下A社蒸馏纸质书的效率怕是要起飞了（bushi）。

海外开发者社区同样热闹，GitHub Star已经攒到1.1K+。

它还一度冲上推特最热Daily News。

而背后撑起这一切的，是眼下AI行业最受关注的那个概念——

RSI。

这个自进化加持的OCR新物种叫OXR。

Optical「Everything」Recognition。

三榜全球第一

文档解析这座山，听着没什么技术含量，可真要翻过去，至今没人做到。

一份看着平平无奇的PDF，传统OCR碰上去，很多时候就是灾难现场。

双栏论文读成串行，手写公式认出来是一堆乱码，跨页大表格的结构直接散架；化学结构式更惨，不少工具索性当杂乱线条扔掉。

这种劣质提取一旦丢进RAG，模型再聪明，下游的Tool Call也全得歇菜。

挡住AI获取高质量上下文的这道墙，现在终于被砸开了。

• OmniDocBench：97.18，第一（上海人工智能实验室开源，覆盖10类复杂文档）
• olmOCR-Bench 拿到 87.84，排第一，这套测试由海外知名人工智能机构 Ai2 团队推出，内含 7000 多道单元测试级硬核题目；DocParsingBench 则是 87.76，同样是第一，覆盖 5 大行业、14 个真实业务场景。

三项世界级榜单，一个叫 OXR 的开源文档解析模型全部登顶，而且整套评测流程和代码全量开源，可复现。

我也上手简单试了试。以前这类工具，我基本只指望它把图变成字，剩下的靠 AI 自己推理意会，这回确实不太一样，终于不是人工智障了。

OXR 能一口气吞下 13 类文档元素：表格、公式、代码块、图片、化学方程式、脚注、页眉、页脚、印章……放到具体场景里看是这样——

杂志进来，出去的是保留完整语义结构、阅读顺序的结构化 MD。

数理公式则直接转成标准 LaTeX 代码。

文献？

双列排版也不影响质量，LLM 自己慢吞吞调用工具阅读这一步可以省了。

连数学试卷也能解析？看来以后 GPT 能更好地帮小学生完成暑假作业了 o(╥﹏╥)o。

当然，最让人激动的还是开源这件事。这类垂直小模型和 LLM 开源，意义很不一样。说实话，LLM 开源虽好，但基本和普通用户没太大关系。

哪怕只是一个 27B 的模型，本地部署成本也高得离谱，起码得上 M5 Pro 64G，这还没算输出速度的问题。OXR 这家伙就 1.3B 啊。。。拿张 RTX 3060 基本就能满血跑，无限薅羊毛。

什么概念？

海外开发者们也是皆大欢喜了。

有点东西。

那么，一个 1.3B 的文档解析模型，究竟靠什么把准确率做到 SOTA？秘密全在后训练——

居然靠的是 RSI？？？

OXR的训练方法里，藏着RSI这套机制。

大家心里一直有个固定想法。

想把AI做到顶尖精度，就得把模型堆到百亿参数，再喂进海量人工标注。

可文档解析这行的标注数据，说白了就是个填不满的坑。

版面花样百出，专业公式、代码、图表层层嵌套，全靠人标，成本高得离谱，人标出来的错误率本身也高得惊人。

真实世界里的长尾Bad Case根本列不完。工程师费劲挑出坏样本、手工修正、重新训练，新版本刚发出去，碰上没见过的怪排版照样翻车。

模型进化的节奏，被数据准备的速度牢牢拖住。

OXR团队在这件事上走得比较猛。

他们发现，文档解析一直有个被忽略的特点：

每一份输入，都存在一个客观确定的标准答案。

文字对不对、表格跨行跨列有没有错、公式符号有没有漏，全都能被精确测出来。

既然对错可以客观判定，那何必还等人来收拾残局？

想通这一点，OXR做了个决定：

在后训练阶段引入面向文档解析的递归自我改进（RSI）训练范式。

不再依赖新增的人工标注，让AI系统自己找错、自己分析原因、自己准备下一轮训练数据、自己迭代进化。

整个RSI过程大体分三个阶段：

1、预测与分类（Prediction&Classification）

第一步，OXR先拿海量无标签真实文档去解析。

接着由通用多模态模型（General VLM）出场，把原始图像、解析结果和评判标准放在一起看，将样本划成三类：

• Correct：完全正确，直接放行。
• Wrong：确认判错，送去深入剖析。
• Uncertain：预测不稳，或者落在分布边缘，同样送去分析。

保留Uncertain这一档，是个挺反直觉的Know-How。

如果只给模型Correct和Wrong两个非黑即白的选项，评判模型那点犹豫就会被硬塞成一个确定标签，毒素最后喂进下一轮训练。

有了Uncertain这一档，模型拿不准的样本就有了兜底去处。OXR还会对自己做多次rollout采样，不止依赖VLM的判断。

同一份文档跑上几遍，结果要是差得离谱，就说明模型心里没底。哪怕某次碰巧蒙对，这类样本照样被丢进Uncertain集合。

随后，在语义完全不变的前提下，系统会对这些高分歧样本做轻微的图像扰动，比如小幅缩放、压缩、轻微模糊或平移。扰动之后分歧若进一步拉大，就说明模型对这类无害的视觉变化过于敏感，这个动作会被当场记成一条核心病因，用来指导下轮有针对性的补强。

2、归因与训练规划（Attribution&Training Planning）

错样本和弱样本筛出来以后，不能直接一股脑喂回模型，得先弄清它究竟错在哪。这一步由General VLM扮演老医生的角色，逐个样本地诊断：问题出在跨列单元格对齐失败，还是手写连笔识别出错？

诊断给出的自然语言原因会送进SigLIP2提取特征向量，再由独立的聚类模型聚类，形成边界清晰的原因簇（Reason clusters）。

举个例子，一张财务报表和一份化学实验记录表，外观和文字几乎毫不相干，可归因聚类若发现两者都栽在某种罕见的跨行跨列结构上，就会被提炼成同一个数据构造方向。

这相当于精准打击，哪里薄弱就补哪里。

3、数据生成（Data Generation）

原因簇一旦明确，生成器就清楚该练什么题。OXR的做法是让原因簇提供结构难点，真实样本池负责版式与视觉风格的参照。

每生成一批新数据，系统都会从真实样本里抓取排版风格作为锚点，把要攻克的结构难点自然嵌进去。扰动测试中暴露的视觉脆弱点，也会被系统性地编入合成管线，逼模型在练习中反复脱敏。

生成的数据经过严格规范校验后，直接回流去训练下一代OXR。一轮跑完，短板被补上；新一轮真实文档再跑，又会冒出新的短板，推动下一轮迭代。

RSI就此成型。数据分布在每一轮迭代里都变得更完备、更扎实。

这也是OXR能做到如此高智能密度的原因。数据质量高到一定程度，模型就不用再靠臃肿的参数量去死记硬背。

架构轻巧可插拔

数据和算法聊完，接着看下一个问题。

准确率排第一，这我能理解。

可速度也拿了第一，这是什么情况？

单张RTX PRO 6000上，OXR把100页文档端到端解析完只用101.0秒，在开源方案里排第一。

一开始我以为是参数少带来的好处。

后来才明白，文档解析这事，只靠模型小根本办不到。

背后藏着不少反直觉的Know-How。

回头看这两年文档解析的技术路线，行业其实经历了好几个阶段。

最早流行的是Pipeline，检测、识别、排序各自用一个独立的专有模型，串起来非常臃肿，维护成本高得离谱。

后来VLM起来了，大家意识到所有任务说到底都是图片到序列的映射，于是试着用端到端大模型一把抓，让大模型直接整页输出文字和排版。

这条路看着优雅，跑起来却慢得厉害，原因是自回归生成长序列太耗算力。

再往后，PaddleOCR-VL迈出了很漂亮的一步：

它把版面分析（LA）和阅读顺序（RO）并进一个小模型，后面接上识别（Recognition）模型，形成两个模型、两个阶段。

版面检测的速度因此回到传统目标检测的毫秒级，这套做法随后两年成了行业标准解法。

那它就没有短板了吗？

并不是。每多加一条版面标注，就得硬性配一条阅读顺序标注，数据处理的难度直接翻倍。

深入推演之后，OXR团队拿出的是一套完全不同的任务级重构思路：

版面分析（LA）交给独立的轻量模型，内容识别（Recognition）和阅读顺序判断（RO）则由OXR主模型一并承担。

也就是：

Layout Analysis–>Recognition+Reading Order

这个看起来简单的拆分与组合，在工程上带来了两处质变：

第一，阅读顺序造成的性能损耗被彻底抹平。

整条流水线里，判断阅读顺序原本就比文本识别省时得多。

OXR把阅读顺序判断并进主模型后，时间没有额外增加，反倒借助主模型自身的语义理解能力（Content-Aware），让阅读顺序判断的准确率明显提高。

另一头，前面的版面分析模型（LA）卸掉了复杂的排序负担，任务变得非常纯粹，可以直接换成更轻量的高效检测模型，整体吞吐量随之上了一个台阶。

第二，版面分析模块独立，而且完全可插拔。

不同业务对版面的需求互相打架，这本身就是个长尾问题。拿一个图文混排的区域来说，内容团队想把它当成一整张图提取，知识库团队则希望把里面的文字抠出来当正文。

再看密集排布的四格漫画，业务A要的是整体裁切，业务B却要切成四个小图。

……

说到底，这事非常难定义，众口难调。

而OXR的架构里，版面分析被做成了完全独立的可插拔模块，改造成本压到最小，业务适配的自由度却放到最大。

假如你的业务对版面划分有极其特殊的需求，比如要处理古籍、医疗单据，完全可以拿自己训练的私有版面分析模型无缝替换进来，后端照旧白嫖OXR那套内容识别能力。

开箱即用的生态

当然，既然是冲着开发者社区来的，一个模型吹得再天花乱坠，部署不了也是白搭。

这方面官方给了免费API，不用注册，也不用申请Key。对，完全免费，纯白嫖。

官方表示，至少在服务器负载还扛得住的区间内，这个开源免费服务他们会一直维护下去。

那还客气什么，赶紧用起来。

我自己就火急火燎地把这个API接进了写作APP。

说实话，PDF解析这块，跟之前的方案比，效果好太多太多了。

想本地部署的同学同样没问题，OXR已经全面适配主流推理框架。不用自己吭哧吭哧重新编译vLLM，在官方Docker或CLI上挂载插件，就能一键拉起服务。

目前OXR的代码、权重，还有整套基准评测的复现流程，已经全部公开。链接放在文末，感兴趣的朋友自取。

当然，需求更高的话，比如要处理Word、PPT、Excel等更多格式，或者想要更完善的后处理定制能力，也可以去看看官方维护的商业级引擎，名字叫SoMark。这也是OXR团队的名字。

One More Thing

最后再聊几句我自己的想法。

到了今天，为什么还要投入这么大精力去啃文档解析这块硬骨头？

Agent正在各行各业接管工作流，可人类几十年积攒下来的核心专业私域知识，大多还压在格式混乱、排版复杂的PDF、扫描件和报表里。

大模型再聪明，喂进去的输入如果是顺序错乱、表格破碎的字符垃圾，吐出来的也只剩幻觉。

以前不少人觉得OCR就是技术含量不高的搬砖活，如今从OCR走到OXR，它扛的担子已经完全不一样了。

它成了人机交互的桥梁，把人类世界里各种复杂的多模态文档，完整无损地重构成对Agent友好的结构化资产。

说实话，看到国内有团队在做这种贴近工程落地的事，挺让人兴奋的。

太多目光盯着Fancy叙事，天天追前沿技术，反倒让人忘了一件要紧的事——

用户到底需要什么？

LLM发展到眼下这个阶段，这个问题的答案，肯定不是更高的模型智能。

更大的瓶颈在那些还没人开荒、需要Get Hands Dirty的领域。

这件事要是能形成共识——

属于Agent的基础设施，就会以肉眼可见的速度，一块一块拼图归位。

GitHub：https://github.com/SoMarkAI/OXR

Hugging Face：https://huggingface.co/SoMarkAI/OXR-1.0

在线Demo：
https://free-oxr.somark.cn/

免费API：
https://free-oxr.somark.cn/api/v1

SoMark官网：https://www.somark.cn