MiniCPM-OCR开源:1.3B与2B双模型,Jev给解析结果打分
就在前几天, 面壁智能联合OpenBMB开源了 MiniCPM-OCR 系列模型。 包含参数量1.3B 的 MiniCPM-OCR 1.0和 2B 的 Min....
面壁智能与 OpenBMB 前几天一起把 MiniCPM-OCR 系列模型开源了。
这个系列里有两个模型:参数量 1.3B 的 MiniCPM-OCR 1.0,以及 2B 的 MiniCPM-OCR Jev。权重、部署工具链、微调代码这次也一并放了出来。
上手试过之后,OCR 的效果好得出乎意料,于是我去琢磨了一下它是怎么做的。
这套 OCR 能力由两个模型配合完成。
OCR 模型负责把文档图片解析成结构化文本,Jev 则给解析出来的结果打分。文档自动化里一直缺的正是后面这道核验环节。
面壁这次拿出了一套能落地的做法。
面壁智能最出名的其实是端侧模型。
不少团队都在往大了堆参数量,MiniCPM 却走的是另一条路:用几 B 的参数量去逼近超大模型的能力,并且能直接跑在消费级设备上。
OCR 模型输出的结构化文本可以是 Markdown,也可以是 JSON 格式,公式和表格都能覆盖。
中英混排、跨行的复杂公式,这个模型也支持。
在 Real5-OmniDocBench 和 OCRBench v2 两个测试集上,它的表现同样有数据可查。
两个测试集上的成绩分别是 93.68 分和综合评测 54.7 分,都排在第一。拿一份合同去跑 OCR,数字和文字多半会认错几处。要是没人再核一遍,错漏流出去,麻烦就大了。
眼下常见的路子有两条:一条是加人手,一页一页翻着校对;另一条是再拉一个生成式大模型,对着原图把内容复述一遍。
后一条路等于又做了一次生成任务,模型还容易顺着已有的答案往下写,自己查自己,问题往往查不出来。
JEV 模型给出的则是第三种思路——判别式。
它的底座是 Qwen3.5-2B,输入原图区域、候选解析文本和渲染图,输出 0 到 1 之间的置信分。分数越高,说明这份解析越可信。
在专门搭的基准 JevOCRBench 上,Jev 的整体 AUROC 为 93.6。
Qwen3.5-397B-A17B 拿到 93.8 分,可它的参数量比前者大 200 倍。
换成 MiniCPM-OCR 1.0、GLM-OCR、PaddleOCR-VL-1.6 和 Xiaomi-OCR 这四家给出的解析结果,AUROC 也稳定落在 91.9 到 93.4 之间。
这就是说,它能单独作为一个环节,接进任何一条现成的 OCR 流水线里。
本地部署的情况下,在 A100 上跑,成本大约是 0.09 元/1000页。
RTX 4090 上跑,成本是 0.27 元/1000页;BF16 全精度权重占 4 到 5GB 左右,INT8 量化后是 2GB,4-bit 量化则降到约 1.2 到 1.5GB。
内存只有 8GB 的笔记本,装 4-bit 量化版就够用;16GB 的 MacBook Air 能直接跑全精度;连 12GB 内存的安卓手机,配上 llama.cpp 或 Ollama,也能把模型装进去。
端侧模型还是太权威了。
晓风乾丨 大四 Base北京 AI产品在职
想缩小科技带来的信息差 分享很酷的AI玩法。
如果有更多想法或者问题欢迎交流~