Jay发自 凹非寺

量子位|公众号QbitAI

RSI用在OCR上，效果能有多猛？

最近有个国产开源模型，参数量只有1.3B，却在文档解析上打出了压倒性表现。

OmniDocBench、olmOCR-Bench和DocParsingBench，三个榜单全拿第一。

跑分先放一边，直接看效果。

高数里那种老式手写笔记，一键就能转成MD。

连化学结构图也画得出来。

基本到了万物可解析的地步，确实有点离谱。

更让人意外的是速度，快得离谱。

一张RTX PRO 6000，端到端解析100页文档，只用了101秒。

照这效率，A社蒸馏纸质书怕是要起飞了（bushi）。

海外开发者社区同样炸了，GitHub Star已经攒到1.1K+。

它还一度冲上推特最热Daily News。

这些表现背后，绕不开当下AI行业最受关注的那个概念——

RSI。

这个带自进化能力的OCR新物种，叫OXR。

全称Optical「Everything」Recognition。

三榜全球第一

文档解析这座山，听着没什么技术含量，可到现在也没被彻底攻克。

一份看着平平无奇的PDF，丢给传统OCR，很多时候就是灾难现场。

双栏论文读串行，手写公式识别成乱码，跨页大表格的结构直接崩掉；化学结构式更惨，不少工具干脆当杂乱线条扔掉。

这种劣质提取一旦进了RAG，模型再聪明，下游Tool Call也全得歇菜。

如今，这道卡住AI获取高质量上下文的墙，总算被砸开了。

• OmniDocBench：97.18，第一（上海人工智能实验室开源，覆盖10类复杂文档）

• olmOCR-Bench 拿到 87.84，排名第一，这套评测由海外知名人工智能机构 Ai2 团队推出，含 7000 多道单元测试级硬核题目；DocParsingBench 则是 87.76，同样第一，覆盖 5 大行业、14 个真实业务场景。

这个叫 OXR 的开源文档解析模型，把三项世界级榜单全部拿下第一。整套评测流程和代码也全部开源、可复现。

我自己动手简单试了试，感觉确实不一样，终于不再是人工智障了。

过去用这类工具，我基本只指望它把图变成字，剩下的交给 AI 自己去推理意会。

OXR 一口气能吞下 13 类文档元素：表格、公式、代码块、图片、化学方程式、脚注、页眉、页脚、印章……

放到具体场景里，效果是这样的——

杂志解析后输出结构化 MD，语义结构和阅读顺序都完整保留；数理公式则直接转成标准 LaTeX 代码。

文献？

也不用再让 LLM 自己慢吞吞地调用工具去读了，双列排版同样不影响质量。

连数学试卷它都能解析？看来以后 GPT 能更好地帮小学生写暑假作业了 o(╥﹏╥)o。

当然，最让人激动的还是开源这件事。要知道，这类垂直小模型开源，和 LLM 开源的意义很不一样。

说实话，LLM 开源虽好，但跟普通用户基本没太大关系。哪怕只是一个 27B 的模型，本地部署成本也高得离谱，起码得上 M5 Pro 64G，这还没算输出速度的问题。

可 OXR 只有 1.3B 啊……拿张 RTX 3060 基本就能满血跑，等于可以无限薅羊毛。

什么概念？

海外开发者们也是皆大欢喜了。

有点东西。

那么，一个 1.3B 的文档解析模型，到底是怎么做到准确率 SOTA 的？

秘密全在后训练——居然靠的是 RSI？

来看看RSI训练到底是怎么运作的。

很长时间以来，行业里都有一种固定看法：

想让AI达到极致精度，就得把模型堆到百亿级参数，再喂进海量人工标注。

可文档解析这行的标注数据，说实话就是个填不满的坑。

排版五花八门，专业公式、代码、图表层层嵌套，全靠人工标注，成本高得离谱，标注本身的错误率也相当惊人。

真实世界里的长尾Bad Case根本列不完。工程师费力挑出坏样本、手工修正、重新训练，好不容易发布新版本，碰上没见过的怪异排版照样翻车。

数据准备的速度，成了卡住模型进化的那道死结。

团队在这个方向上做了颇为大胆的尝试。

他们发现，文档解析一直有个被忽略的特点：

每一份输入，都存在客观确定的标准答案。

文字对不对、表格跨行跨列有没有错、公式符号有没有漏，全都能被精确测出来。

既然对错可以客观判定，何必还等着人来收拾残局？

想通这一点后，OXR拍板：

在后训练阶段引入面向文档解析的递归自我改进（RSI）训练范式。

不再依赖新增的人工标注，让AI系统自行找错、自行分析原因、自行准备下一轮训练数据、自行迭代进化。

这套RSI流程大致分成三个阶段：

1、预测与分类（Prediction&Classification）

OXR先解析大量无标签的真实文档。

随后通用多模态模型（General VLM）上场，结合原始图像、解析结果和评判标准，把样本分成三类：

• Correct：完全正确，直接放行。

• Wrong：明确判错，送去深度剖析。

• Uncertain：预测不稳定，或处于分布边缘，同样送去分析。

保留Uncertain这一档，是个颇反直觉的Know-How。

如果只给模型Correct和Wrong两个非黑即白的选项，评判模型的犹豫就会被硬包装成一个确定标签，最终把毒素喂进下一轮训练。

引入Uncertain这一档后，那些拿不准的样本总算有了去处。

不止VLM，OXR自己也会做多次rollout采样。

同一份文档跑上几遍，结果差得远，就说明模型心里没底——哪怕某次碰巧答对，也照样被划进Uncertain集合。

紧接着，系统会在语义完全不变的前提下，对这批高分歧样本做轻微的图像扰动，比如小幅缩放、压缩、轻微模糊或平移。

扰动之后分歧反而更大，就说明模型对这类无害的视觉变化太敏感；这个扰动动作会被当场记成一条核心病因，直接用来指导下轮针对性补强。

2、归因与训练规划（Attribution&Training Planning）

错样本和弱样本筛出来以后，不能直接胡乱喂给模型，得先弄清它究竟错在哪儿。

这一步里，General VLM像个老医生，一个一个样本看过去：是跨列单元格没对齐，还是手写连笔认错了？

诊断出的自然语言原因会送入SigLIP2提取特征向量，再由独立的聚类模型聚成清晰的原因簇（Reason clusters）。

举个例子，一张财务报表和一张化学实验记录表，外观和文字八竿子打不着，可归因聚类发现两者都栽在某种罕见的跨行跨列结构上，这就能提炼成一个共同的数据构造方向。

哪儿薄弱就补哪儿，这才叫精准打击。

3、数据生成（Data Generation）

原因簇明确了，生成器也就知道该练什么题。

OXR的具体做法是：结构难点由原因簇提供，版式和视觉风格则参照真实样本池。

每生成一批新数据，都会从真实样本里抓取排版风格当锚点，再把要攻克的结构难点自然融进去。

前面扰动测试中暴露的视觉脆弱点，也会被系统性地编进合成管线，逼模型在练习中反复脱敏。

生成出来的数据还要过一遍严格规范校验，合格后直接回流，用于训练下一代OXR。

一轮跑完，模型的短板被补齐；新一轮真实文档再跑，又会冒出新的短板，推动下一轮迭代。

RSI就此成型。

每一轮迭代下来，数据分布都变得更完备、更扎实。

OXR能做到这么高的智能密度，原因也在这里。

数据质量高到一定程度，模型就不用再靠臃肿的参数量去死记硬背。

架构轻巧可插拔

数据和算法聊完，接着看下一个问题。

准确度排第一，这还能理解。可速度也拿了第一，这是什么情况？

单张RTX PRO 6000上，OXR把100页文档端到端解析完只用101.0秒，在开源里排第一。起初我以为，原因就是参数小。

后来才发现，文档解析这件事，光靠模型小根本办不到。里面藏着不少反直觉的Know-How。

回头看看这两年文档解析的技术演进，行业其实已经走过好几个阶段。

最早大家做的是Pipeline，检测、识别、排序各用各的独立专有模型，拼在一起特别臃肿，维护成本高得离谱。

之后VLM火起来，大家发现所有任务说到底都是图片到序列的映射，于是试着用端到端大模型一把全包，让大模型直接把整页的文字和排版吐出来。方案是优雅，可速度慢得像蜗牛，自回归生成长序列太吃算力。

再往后，PaddleOCR-VL走出了一步很漂亮的棋：版面分析（LA）和阅读顺序（RO）并成一个小模型，后头接识别（Recognition）模型，形成两个模型、两个阶段。版面检测的速度因此回到传统目标检测的毫秒级，很快成了这两年的行业标准解法。

可这样就完美了吗？并没有。每多一条版面标注，就得硬绑一条阅读顺序标注，数据处理的难度直接翻倍。

深入推演之后，OXR团队拿出的是一套完全不同的任务级重构方案：版面分析（LA）交给独立的轻量模型，内容识别（Recognition）和阅读顺序判断（RO）则由OXR主模型一并负责。

也就是：

Layout Analysis-->Recognition+Reading Order

这看似简单的拆与合，在工程上带来了两个巨大的质变。其一，阅读顺序造成的性能损耗被彻底抹平。

整条流水线里，判断阅读顺序原本就比文本识别省时得多。OXR把阅读顺序判断并进主模型后，时间没多花，反倒因为主模型自带语义理解能力（Content-Aware），阅读顺序的判断准确率大幅上升。

与此同时，前头的版面分析模型（LA）甩掉了复杂的排序包袱，任务变得极度纯粹，可以直接换上更轻量的高效检测模型，整体吞吐量原地起飞。

其二，版面分析模块独立，而且完全可插拔。

业务场景不同，对版面的要求就互相打架，这本质是个长尾问题：

一块图文混排的区域，内容团队想整张当图提出来，知识库团队却想把里头的文字抠出来做正文；

四格漫画排得密密麻麻，业务A要整体裁切，业务B要拆成四个小图；

……

说白了就是很难定义，众口难调。

不过在OXR的架构里，版面分析被做成了一个完全独立的可插拔模块——

改造成本压到最小，业务适配的自由度却放到最大。

假如你的业务对版面划分有极其特殊的要求，比如处理古籍、医疗单据，完全可以拿自己训练的私有版面分析模型无缝替换掉，

后端照旧用OXR强大的内容识别能力。

开箱即用的生态

当然，既然是冲着开发者社区来的，一个模型吹得再热闹，部署不了也是白搭。

这一点上，官方给了免费API，不用注册，也不用申请Key。

对，完全免费，纯白嫖。。。

官方表示，至少在服务器负载还扛得住的区间内，这套开源免费服务他们会一直维护下去。

那还不赶紧站起来蹬！

我于是火急火燎地把它接进了自己的写作APP。

说实话，PDF解析这块，跟之前的方案比，效果好太多太多了。

对了，想本地部署的同学也没问题。OXR已经全面适配主流推理框架。

不用自己吭哧吭哧重新编译vLLM，直接在官方Docker或CLI上挂载插件，就能一键拉起服务。

眼下，OXR的代码、权重，还有整套基准评测的复现流程，都已经全部公开。

链接放在文末，感兴趣的朋友自己去取。

当然，需求更高的话，比如要处理Word、PPT、Excel等更多格式，或者想要更完善的后处理定制能力，也可以去了解官方维护的商业级引擎。

它叫SoMark。

这也是OXR团队的名字。

One More Thing

结尾再聊几句我自己的感受。

文档解析这件事，放到今天为什么还值得投入这么多人力？

Agent已经开始接手各行各业的工作流，可人类几十年攒下来的核心专业私域知识，大部分还躺在排版混乱、格式复杂的PDF、扫描件和报表里。

大模型再强，喂进去的是顺序错乱、表格残缺的字符垃圾，出来的就只能是幻觉。

以前不少人觉得OCR没什么技术含量，就是体力活。可从OCR走到OXR，它要干的事已经完全不同了。

它成了人机之间的通道，把人类世界里各种复杂的多模态文档，原样无损地转成Agent好用的结构化资产。

说真的，看到国内团队在啃这些工程落地上的硬骨头，挺让人兴奋的。

追Fancy叙事的人太多了，视线全放在前沿技术上，反倒把一件要紧的事忘了——

用户究竟需要什么？

LLM走到今天这一步，这个问题的答案肯定不是模型再聪明一点。

真正的瓶颈，在那些还没人开荒、得亲自下场弄脏手的领域。

这件事如果能成为共识——

Agent的基础设施就会一块一块拼图归位，速度快到肉眼可见。

GitHub：https://github.com/SoMarkAI/OXR

Hugging Face：https://huggingface.co/SoMarkAI/OXR-1.0

在线Demo：
https://free-oxr.somark.cn/

免费API：
https://free-oxr.somark.cn/api/v1

SoMark官网：https://www.somark.cn