Recapture:用合成数据解决文档AI训练的“扫描件荒”

资讯 AI 应用前沿 全文 3267 字 · 约 9 分钟读完 分类开源手机数据

训练视觉语言模型时,干净的数字文档太多,真实的皱褶扫描件太少。Recapture 这个开源工具能把平整的PDF页面变成逼真的手机拍照或扫描仪图像,自动保留标注框。不用真的去打印再拍摄,就能批量生成带噪声的训练数据,解决数据集混合难题。

所属频道 AI 硬件与终端开源生态

为什么干净的文档骗不了AI

搞过文档识别或者视觉语言模型(VLM)训练的人,大概都踩过同一个坑:模型在测试集上跑分漂亮,一放到真实场景里就歇菜。

原因很简单,公开的数据集太“干净”了。像 DocLayNet 或 PubLayNet 这些主流数据集,里面塞满了直接从 PDF 导出的高清数字页面。线条笔直,背景纯白,没有任何噪点。但现实世界不是这样的。用户上传的可能是用手机随手拍的发票,光线昏暗,纸张皱巴巴;也可能是老式扫描仪扫出来的合同,带着黑边和倾斜。

这就是所谓的“数据集混合问题”。如果模型只见过完美的数字文档,它就学不会处理真实世界里的混乱。要想让模型变强,就得喂它吃这种“脏”数据。

可问题来了:高质量的真实扫描件和照片很难搞。你不可能为了凑够百万级的训练数据,真的去打印几百万张纸,然后一张张拍、一张张扫。这不仅是体力活,成本也高得离谱。

Nutrient 团队最近开源了一个叫 Recapture 的工具,就是想解决这个麻烦。它的思路很直接:既然实拍太累,那就用算法“模拟”实拍。你只需要提供一张干净的页面图片和对应的布局标注(比如哪里是段落,哪里是图片),Recapture 就能自动生成各种逼真程度的“ degraded ”(退化)副本——无论是扫描仪产生的灰度噪点,还是手机拍照时的阴影和折痕,它都能造出来,而且自动把标注框也跟着变形对齐。

2D 增强不够,得上 3D

以前大家做合成数据,常用的是 2D 图像增强技术。简单说,就是在平整的图片上加模糊、高斯噪声,或者调一下亮度对比度。这种方法对模拟扫描仪效果还行,毕竟扫描仪出来的东西大体上是平面的。但对于手机拍照,2D 增强就露馅了。

你拿手机拍一张纸,纸会有起伏,会有折痕,边缘会翘起来,周围物体还会投下阴影。这些物理特性,靠简单的滤镜是模拟不出来的。Recapture 的核心改进,就是把 2D 增强和 3D 渲染结合了起来。

它有两种模式:

扫描模式(Scan Mode)

这个模式主打一个快,不需要 GPU 也能跑。它主要模拟打印机和扫描仪的缺陷。比如墨水渗漏、碳粉条纹、扫描时的轻微倾斜、灰尘斑点,还有那种常见的四周暗角。如果你需要大量模拟办公场景下的扫描文档,这个模式足够用了。

拍照模式(Photo Mode)

这才是重头戏。为了模拟手机拍照的真实感,Recapture 搞了一套复杂的渲染流程:

  1. 网格变形:它把页面划分成 1024 个点的网格,然后根据真实文档的高度图(height maps)来扭曲这个网格。这意味着生成的折痕和卷曲不是随便贴的一张纹理贴图,而是有真实物理形态的起伏。
  2. 场景搭建:页面会被放置在 35 种不同的桌面背景上。你可以选择加上键盘、马克杯或者便利贴,这些东西都会根据光源投射出真实的阴影。
  3. 光照模拟:系统会模拟台灯、室内环境光,甚至包括拿着手机的手和手机本身投下的阴影。光影关系对了,照片才像真的。
  4. 相机成像:最后,通过一个虚拟的手机摄像头进行成像。这一步会加入对焦模糊、传感器噪点、白平衡偏移、色调映射以及 JPEG 压缩伪影。你可以调节参数,模拟从高端旗舰机到廉价老旧手机的不同成像质量。

这种组合拳打下来,生成的图片在视觉上非常具有欺骗性。对于训练模型来说,这种多样性正是它们急需的“营养”。

怎么用它造数据

使用 Recapture 的流程并不复杂,核心就两步:准备素材,然后生成。

首先,你需要干净的页面图片(PNG格式)和对应的布局标注。标注文件是 JSON 格式,长这样:

{
  "boxes": [
    {
      "id": "p1",
      "label": "paragraph",
      "bbox": [120, 340, 980, 610]
    },
    {
      "id": "f1",
      "label": "figure",
      "quad": [[100, 700], [900, 700], [900, 1200], [100, 1200]]
    }
  ]
}

如果你手头已经有标注好的数据集,直接把标签转成这个格式就行。如果没有标注,也没关系。Recapture 可以直接读取 Nutrient Parse API 的输出结果。你可以写个简单的脚本,把文件夹里的 PNG 图片发给 API,拿回空间布局信息,存成同名的 JSON 文件。

环境搭建方面,推荐用 Python 3.12 和 uv 包管理器。克隆仓库后,安装依赖并下载大约 105MB 的纹理素材包:

git clone https://github.com/PSPDFKit-labs/recapture.git
cd recapture
uv venv .venv --python 3.12
uv pip install --python .venv/bin/python -e '.[editor]' requests
.venv/bin/recapture fetch-assets --yes
source .venv/bin/activate

接着,把你的图片放进 pages/ 文件夹。假设你已经有了 invoice.png 和 invoice.json 这对文件。

接下来是配置和生成。Recapture 提供了一个预设叫 mix,它会生成大约 70% 的照片和 30% 的扫描件,这个比例通常比较符合通用场景。你可以先预览一下效果:

recapture init my.json --from mix
recapture preview my.json -i pages/ -n 6

预览没问题后,就可以批量生成了。比如每页生成 10 个变体:

recapture render -i pages/ -c my.json -o dataset/ -n 10

最后,导出为常用的 COCO 格式,并自动划分训练集、验证集和测试集:

recapture export dataset/ -o export/ --format coco --val 0.1 --test 0.1

这里有个细节要注意:划分是按“页”进行的。也就是说,同一张原始图片生成的 10 个变体,要么全在训练集,要么全在验证集。这样可以防止数据泄露。如果你的原始图片少于 10 张,工具会警告你无法划分验证集和测试集,这时候它只会输出训练集。

让 AI 代理帮你干活

如果你觉得敲命令行还是麻烦,Recapture 还适配了当前的 coding agent 潮流。它提供了 Claude Code 和 Codex 插件。

安装插件后,你只需要在包含图片的文件夹里打开 agent,用自然语言下指令就行。比如:

“把 pages 文件夹里的页面退化处理,30% 做成扫描件,每页生成 3 张图片,最后导出为 COCO 格式。”

Agent 会自动帮你安装 CLI、下载素材、编写配置文件,甚至还会先生成几张预览图让你确认。等你点头同意后,它就开始批量渲染,最后汇报每个分割集里有多少图片和标注框。

这种方式特别适合快速迭代。你可以让 Agent 尝试不同的参数组合,看看哪种噪声分布对你的模型提升最大,而不必自己去钻研 JSON 配置文件的每一个字段。

写在最后

Recapture 的价值在于它降低了高质量训练数据的获取门槛。以前,为了提升模型在真实场景下的鲁棒性,工程师们可能要花大量时间去收集、清洗和标注真实的脏数据。现在,只要有一小部分标注好的干净数据,就能通过合成手段无限扩展。

当然,合成数据不能完全替代真实数据。但它是一个极佳的补充,特别是在长尾场景(如极度昏暗的光线、特殊的纸张材质)数据稀缺的时候。

目前这个工具已经开源在 GitHub 上。如果你正在做文档理解、OCR 或者任何涉及文档图像的 VLM 项目,不妨试试用它扩充一下你的训练集。说不定,那些让模型头疼的皱褶和阴影,从此就不再是问题了。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 苹果2027年产品路线图曝光:18款新品覆盖全品类,首款AI眼镜+20周年iPhone齐登场

    11月17日,科技媒体MacRumors综合彭博社记者马克·古尔曼及多条产业链信源,发布苹果2027年新品完整前瞻。报告显示,苹果明年将推出至少18款新品,覆盖智能手机、平板、电脑、智能穿戴及智能家居全品类,既是iPhone问世20周年的产品大年,也是折叠屏、智能眼镜两大新形态的关键落地节点。 iPhone产品线:6款

    来源 AI 行业观察
  2. 韩国LEET满分考生李振宇身亡,AI作弊指控与考场智能眼镜禁令

    韩国LEET法学研究生入学考试满分考生李振宇(32岁)近日在首尔汽车旅馆内被发现心脏骤停身亡。他此前深陷AI作弊质疑,曾公开承诺开YouTube直播,现场作答韩国高考韩语试题以自证清白。约定时间大量网友蹲守直播间,但他未现身、手机关机,自证最终未能进行。此事引发舆论关注。

    来源 AI 产业速递
  3. 努比亚M153量产版9月16日面世:AI智能体手机如何从标书走到产线

    9月,一台被称作“全球首款AI智能体手机”的机器面世。它做的不是再叠加一个AI功能,而是开启智能体手机人机交互新范式。人们开始关注一个新物种凭什么被允许,靠什么被信任,边界该划在哪里?一个新物种的诞生过去两年,行业里多数发布会都在讲同一件事:给语音助手换一个更聪明的模型。入口还是那个对话框,你说一句,它答一句,我们开始

    来源 腾讯网
  4. 美国财政部与OSTP拟新规:使用中国开放权重AI模型的美企须官网披露

    据路透社独家报道,美国财政部与白宫科学技术政策办公室(OSTP)正在考虑一项针对中国AI模型的新措施:要求使用中国开放权重AI模型的美国企业,在官方网站上公开披露相关情况。据称,其目的不是直接禁止美国企业使用中国AI,而是通过公开披露形成公众压力,减少美国企业对中国AI技术的依赖。目前,该提案仍处于讨论阶段,不...

    来源 腾讯网
  5. 腾讯音乐三季度营收89.41亿:AI歌曲日均入库45%,平台怎么接招

    音乐平台从未像今天这样不缺新歌,但下一个能够持续创造商业价值的音乐明星,依然难寻。 11月17日,腾讯音乐公布2026年第三季度财报,营收89.41亿元,同比增长5.6%,低于市场一致预期。 依靠高阶会员、演唱会和艺人周边,这家在线音乐巨头正进一步挖掘成熟IP的商业价值,但主力产品的用户活跃度仍然承压。 存量IP的生意

    来源 AI 行业观察
  6. 内存涨价逼出“灰色操作”:二手拆机内存杀入手机供应链,价格直接打5折

    持续上涨的内存价格,正在悄悄改变手机行业的供应链格局。据数码博主透露,内存厂商预计2027年内存价格仍将持续上涨,这轮涨价行情可能延续至2028年上半年,直到下半年才逐步进入平稳期。而为了应对成本压力,部分小品牌和山寨手机厂商已经开始在百元机、千元机上使用拆机二手内存——更值得关注的是,2027年部分主流手机品牌也可能

    来源 TechWeb
  7. 蚂蚁国际杨鹏:AI与通证化重塑资金流动,普惠可信成关键

    在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑资金流动方式,真正决定成败的不仅有更强的智能,而包括——普惠普及性(Accessibility)与可信任(Trust)。“如果只有大型企业、大公司和大型科技公司能把这一切收入囊中,那样的未来会非常无趣。”

    来源 TechWeb
  8. 蚂蚁国际杨鹏SFF谈未来金融:AI重塑资金流动,普惠与可信成关键

    在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑资金流动方式,真正决定成败的不仅有更强的智能,而包括——普惠普及性(Accessibility)与可信任(Trust)。“如果只有大型企业、大公司和大型科技公司能把这一切收入囊中,那样的未来会非常无趣。”

    来源 TechWeb
  9. RadixArk发布DaisyRose-27B:18天强化学习,终端任务通过率翻倍

    RadixArk团队基于Qwen3.8-27B推出了DaisyRose-27B模型。通过自研的Miles框架和高质量数据筛选,团队仅用144张H200 GPU在18天内完成了训练。该模型在Terminal-Bench 4.1上的通过率从5.6%提升至12.0%,且训练成本比开源方案降低57%。文章详细介绍了其数据构建逻

    来源 AI 应用前沿
  10. 内存涨价传导至手机供应链:二手拆机内存价格打5折

    【TechWeb】持续上涨的内存价格,正在悄悄改变手机行业的供应链格局。据数码博主透露,内存厂商预计2027年内存价格仍将持续上涨,这轮涨价行情可能延续至2028年上半年,直到下半年才逐步进入平稳期。而为了应对成本压力,部分小品牌和山寨手机厂商已经开始在百元机、千元机上使用拆机二手内存——更值得关注的是,2027年部.

    来源 腾讯网
  11. 华为鸿蒙智家无界交互定档11月24日,预热“住进未来家”

    IT之家 11 月 19 日消息,华为官方今日宣布,新一代华为鸿蒙智家无界交互将在 11 月 24 日发布,号称“住进未来家”。华为官方暂未公布新一代鸿蒙智家无界交互的具体功能,不过预热海报中展示了人车家生态场景。图中的女主人公手持平板似乎正在控制窗帘开关等,而男主人公和小朋友正在看电视。预计无界交互将进一步优化智能.

    来源 腾讯网
  12. LlamaIndex发布OCRia-1.5,NVIDIA推Cosmos数据工厂

    本期速报关注文档解析与合成数据的新进展。LlamaIndex推出OCRia-1.5模型家族,提升复杂表格解析精度;Google DeepMind上线Genie 4,支持原生音频与实时编辑;NVIDIA发布Cosmos Data Factory蓝图,通过Prompt生成含稀有事件的训练数据。此外,Gemini应用适配低内

    来源 AI 应用前沿
  13. DeepSeek开源Agent框架WorkBuddy:154万日活,社区养出3.5万插件

    龙虾(OpenClaw)成为过去时,现在AI社区里流行起了“养鱼”。 近日,一群有独特个性的AI小鱼活跃在互联网各个角落。除了在办公、编程中干活,还做了不少意想不到的事儿,有的在社交平台到处留言互动,还有的跑到抖音直播,甚至相互之间还谈起了恋爱。 而它们的“本体”,来自DeepSeek开源的Agent框架DeepSee

    来源 AI 行业观察
  14. 英伟达临时CEO克雷斯回应换帅疑虑:AI芯片业务照常,产品节奏不变

    【TechWeb】11月19日,行业媒体Digitimes发布报道,聚焦黄仁勋辞任后英伟达首次财报电话会议。针对外界“换帅是否会打乱AI芯片供货”的疑虑,临时CEO科莱特·克雷斯(Colette Kress)明确回应:公司业务照常开展。 克雷斯在会上强调,英伟达未来产品的开发与推出节奏保持不变,公司的运营表现、业务展望

    来源 AI 行业观察
  15. HPE发布ProLiant Gen13服务器:搭载AMD第六代EPYC,主打AI推理与安全

    【TechWeb】11月19日消息,HPE正式推出两款搭载第六代AMD EPYC™处理器的HPE ProLiant Gen13服务器。面向AI推理与智能体AI等新兴工作负载带来的计算需求,全新系列产品进一步提升计算性能、内存带宽及I/O能力,助力企业加速智能体AI、AI推理、数据分析、虚拟化、仿真与建模等多元工作负载的

    来源 AI 行业观察
  16. HPE推ProLiant Gen13服务器:搭载第六代AMD EPYC,主打AI推理与安全

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  17. HPE ProLiant Gen13上新:第六代AMD EPYC加持,面向AI推理与企业负载

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  18. 腾讯开源Hy4flash:224B参数,三个版本可下载

    腾讯混元官宣开源Hy4flash系列,含标准版、FP8量化版及可从零训练的Base版,GitHub、Hugging Face、ModelScope、GitCode均可下载,并提供GGUF格式便于本地部署。官方预告更大Hy4模型也将开源。该模型走性价比路线,总参224B,含64B Engram参数。

    来源 AI 产业速递
  19. 郑渊洁71岁用AI做动画,8部短片免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  20. 郑渊洁用AI做动画短片:8部已上线,宣布作品免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
向下滚动自动加载更多