Recapture:用合成数据解决文档AI训练的“扫描件荒”
训练视觉语言模型时,干净的数字文档太多,真实的皱褶扫描件太少。Recapture 这个开源工具能把平整的PDF页面变成逼真的手机拍照或扫描仪图像,自动保留标注框。不用真的去打印再拍摄,就能批量生成带噪声的训练数据,解决数据集混合难题。
为什么干净的文档骗不了AI
搞过文档识别或者视觉语言模型(VLM)训练的人,大概都踩过同一个坑:模型在测试集上跑分漂亮,一放到真实场景里就歇菜。
原因很简单,公开的数据集太“干净”了。像 DocLayNet 或 PubLayNet 这些主流数据集,里面塞满了直接从 PDF 导出的高清数字页面。线条笔直,背景纯白,没有任何噪点。但现实世界不是这样的。用户上传的可能是用手机随手拍的发票,光线昏暗,纸张皱巴巴;也可能是老式扫描仪扫出来的合同,带着黑边和倾斜。
这就是所谓的“数据集混合问题”。如果模型只见过完美的数字文档,它就学不会处理真实世界里的混乱。要想让模型变强,就得喂它吃这种“脏”数据。
可问题来了:高质量的真实扫描件和照片很难搞。你不可能为了凑够百万级的训练数据,真的去打印几百万张纸,然后一张张拍、一张张扫。这不仅是体力活,成本也高得离谱。
Nutrient 团队最近开源了一个叫 Recapture 的工具,就是想解决这个麻烦。它的思路很直接:既然实拍太累,那就用算法“模拟”实拍。你只需要提供一张干净的页面图片和对应的布局标注(比如哪里是段落,哪里是图片),Recapture 就能自动生成各种逼真程度的“ degraded ”(退化)副本——无论是扫描仪产生的灰度噪点,还是手机拍照时的阴影和折痕,它都能造出来,而且自动把标注框也跟着变形对齐。
2D 增强不够,得上 3D
以前大家做合成数据,常用的是 2D 图像增强技术。简单说,就是在平整的图片上加模糊、高斯噪声,或者调一下亮度对比度。这种方法对模拟扫描仪效果还行,毕竟扫描仪出来的东西大体上是平面的。但对于手机拍照,2D 增强就露馅了。
你拿手机拍一张纸,纸会有起伏,会有折痕,边缘会翘起来,周围物体还会投下阴影。这些物理特性,靠简单的滤镜是模拟不出来的。Recapture 的核心改进,就是把 2D 增强和 3D 渲染结合了起来。
它有两种模式:
扫描模式(Scan Mode)
这个模式主打一个快,不需要 GPU 也能跑。它主要模拟打印机和扫描仪的缺陷。比如墨水渗漏、碳粉条纹、扫描时的轻微倾斜、灰尘斑点,还有那种常见的四周暗角。如果你需要大量模拟办公场景下的扫描文档,这个模式足够用了。
拍照模式(Photo Mode)
这才是重头戏。为了模拟手机拍照的真实感,Recapture 搞了一套复杂的渲染流程:
- 网格变形:它把页面划分成 1024 个点的网格,然后根据真实文档的高度图(height maps)来扭曲这个网格。这意味着生成的折痕和卷曲不是随便贴的一张纹理贴图,而是有真实物理形态的起伏。
- 场景搭建:页面会被放置在 35 种不同的桌面背景上。你可以选择加上键盘、马克杯或者便利贴,这些东西都会根据光源投射出真实的阴影。
- 光照模拟:系统会模拟台灯、室内环境光,甚至包括拿着手机的手和手机本身投下的阴影。光影关系对了,照片才像真的。
- 相机成像:最后,通过一个虚拟的手机摄像头进行成像。这一步会加入对焦模糊、传感器噪点、白平衡偏移、色调映射以及 JPEG 压缩伪影。你可以调节参数,模拟从高端旗舰机到廉价老旧手机的不同成像质量。
这种组合拳打下来,生成的图片在视觉上非常具有欺骗性。对于训练模型来说,这种多样性正是它们急需的“营养”。
怎么用它造数据
使用 Recapture 的流程并不复杂,核心就两步:准备素材,然后生成。
首先,你需要干净的页面图片(PNG格式)和对应的布局标注。标注文件是 JSON 格式,长这样:
{
"boxes": [
{
"id": "p1",
"label": "paragraph",
"bbox": [120, 340, 980, 610]
},
{
"id": "f1",
"label": "figure",
"quad": [[100, 700], [900, 700], [900, 1200], [100, 1200]]
}
]
}如果你手头已经有标注好的数据集,直接把标签转成这个格式就行。如果没有标注,也没关系。Recapture 可以直接读取 Nutrient Parse API 的输出结果。你可以写个简单的脚本,把文件夹里的 PNG 图片发给 API,拿回空间布局信息,存成同名的 JSON 文件。
环境搭建方面,推荐用 Python 3.12 和 uv 包管理器。克隆仓库后,安装依赖并下载大约 105MB 的纹理素材包:
git clone https://github.com/PSPDFKit-labs/recapture.git
cd recapture
uv venv .venv --python 3.12
uv pip install --python .venv/bin/python -e '.[editor]' requests
.venv/bin/recapture fetch-assets --yes
source .venv/bin/activate接着,把你的图片放进 pages/ 文件夹。假设你已经有了 invoice.png 和 invoice.json 这对文件。
接下来是配置和生成。Recapture 提供了一个预设叫 mix,它会生成大约 70% 的照片和 30% 的扫描件,这个比例通常比较符合通用场景。你可以先预览一下效果:
recapture init my.json --from mix
recapture preview my.json -i pages/ -n 6预览没问题后,就可以批量生成了。比如每页生成 10 个变体:
recapture render -i pages/ -c my.json -o dataset/ -n 10最后,导出为常用的 COCO 格式,并自动划分训练集、验证集和测试集:
recapture export dataset/ -o export/ --format coco --val 0.1 --test 0.1这里有个细节要注意:划分是按“页”进行的。也就是说,同一张原始图片生成的 10 个变体,要么全在训练集,要么全在验证集。这样可以防止数据泄露。如果你的原始图片少于 10 张,工具会警告你无法划分验证集和测试集,这时候它只会输出训练集。
让 AI 代理帮你干活
如果你觉得敲命令行还是麻烦,Recapture 还适配了当前的 coding agent 潮流。它提供了 Claude Code 和 Codex 插件。
安装插件后,你只需要在包含图片的文件夹里打开 agent,用自然语言下指令就行。比如:
“把 pages 文件夹里的页面退化处理,30% 做成扫描件,每页生成 3 张图片,最后导出为 COCO 格式。”
Agent 会自动帮你安装 CLI、下载素材、编写配置文件,甚至还会先生成几张预览图让你确认。等你点头同意后,它就开始批量渲染,最后汇报每个分割集里有多少图片和标注框。
这种方式特别适合快速迭代。你可以让 Agent 尝试不同的参数组合,看看哪种噪声分布对你的模型提升最大,而不必自己去钻研 JSON 配置文件的每一个字段。
写在最后
Recapture 的价值在于它降低了高质量训练数据的获取门槛。以前,为了提升模型在真实场景下的鲁棒性,工程师们可能要花大量时间去收集、清洗和标注真实的脏数据。现在,只要有一小部分标注好的干净数据,就能通过合成手段无限扩展。
当然,合成数据不能完全替代真实数据。但它是一个极佳的补充,特别是在长尾场景(如极度昏暗的光线、特殊的纸张材质)数据稀缺的时候。
目前这个工具已经开源在 GitHub 上。如果你正在做文档理解、OCR 或者任何涉及文档图像的 VLM 项目,不妨试试用它扩充一下你的训练集。说不定,那些让模型头疼的皱褶和阴影,从此就不再是问题了。