NVIDIA推Nemotron PII Japan：10万份日语合成文档，专攻隐私标注

日语业务文档的隐私保护，难在哪？

做AI开发的人碰到日语业务文档，常常两头为难：屏蔽得太狠，文档就没了业务价值；屏蔽不到位，又有泄露隐私的风险。

日语语境把这个问题放得更大。同一个名字，放在医疗场景里是“患者”，到了金融场景成了“申请人”，行政文件里又变成“届出人”——角色不一样，处理逻辑就得跟着变。日期表达也是两套并行，西历之外还有和历（如“昭和55年”）；地址格式复杂，建筑物名称和房间号都要写进去。AI模型要是读不懂这些上下文，想一边留住贷款目的、诊疗经过这类关键业务信息，一边把个人身份信息（PII）精准抹掉，基本做不到。

NVIDIA为此发布了Nemotron PII Japan数据集。它是一套开源数据，包含10万份合成业务文档，每份都带精确的PII位置标注，并非单纯的文本堆叠。目的说得很直白：开发者不用碰任何真实客户数据，就能测试和优化AI应用在隐私保护上的表现。

10万份合成文档，8大核心领域全覆盖

规模和多样性是Nemotron PII Japan的主要价值所在。10万份日语合成文档分布在医疗、金融、行政、雇佣、教育、法务、通信IT以及电子商务8个主要领域，往下再分，共有43种具体文档类型。

有了这样的覆盖面，它既能测通用的姓名、地址识别，也能应付特定行业的复杂场景。例如：

• 金融领域的贷款审查书：借款人的姓名、和历出生日期、带房间号的详细地址、银行账户信息，加上借入金额、还款计划等业务数据，全都出现在同一份文档里。测试重点是能不能在屏蔽个人信息的同时，把借款目的和审查理由留下来。
• 医疗领域的诊断书：病名、症状経過、疗养限制、医生意见都在其中。难点是隐藏患者身份的同时，保住诊疗所需的医学上下文。
• 行政领域的居民异动届：申报人和异动人的姓名、地址及异动去向都涉及，考的是模型区分多主体信息的能力。
• 雇佣领域的工资联系票：年月、总支付额、扣除明细、实发金额及转账账户一应俱全，是人事数据共享前必须处理的典型敏感文档。
• 其他领域也没落下：入学愿书（教育）、委任状（法务，需区分委任者与受任者）、安全事件报告（IT，需去除模拟泄露的秘密值）、购买者咨询记录（EC，需去除联系方式以便LLM总结）。

这些数据全部基于CC BY 4.0许可发布，商业和非商业用途都允许，构建通用的隐私保护基准因此有了可能。

“先算后写”：让合成数据经得起推敲

合成数据集有个通病：看着像真的，细究就露馅。贷款金额和月供对不上，出生日期和年龄矛盾，这类问题不少见。Nemotron PII Japan用一套严谨的生成管道把这个问题解决了。

1. 目录与人物画像

生成从“目录”和“人物画像”起步。系统以NVIDIA此前的合成人物数据集Nemotron Personas Japan为基础，提取姓名、年龄、职业、居住地等属性，同时备好公司、银行、医疗场景等业务素材库。生成医疗文档时，症状、检查设施和部门之间的逻辑关联会被确保，无关的病症和设施不会被硬凑到一起。

2. CalculationPlan：先计算，再生成

碰上涉及数值计算的文档（比如金融贷款），系统会引入CalculationPlan机制。LLM还没动笔，插件就先根据借入额、利率、期限等条件，把每月还款额、总还款额等数值算好，审查结果（如“基准内”）也一并确定。

也就是说，数学运算不用LLM来做，它只按预设结构和占位符生成自然语言描述。文档里的数值因此在数学上严格正确，LLM常见的“幻觉”问题被绕开了。

3. Placeholder机制：让标注精准落位

生成过程中，所有PII（如姓名、邮箱）和计算结果（如月供金额）都用特殊占位符（Placeholder）表示，例如__JP_PII_LAST_NAME_1__或__JP_PLAN_MONTHLY_REPAYMENT__。

LLM生成的文本里只有这些占位符。生成结束后，系统再通过程序把占位符替换成确定的合成值。这样做有两个好处：

1. 标注零误差：替换由程序完成，PII在文本里的起始和结束位置（Span）能精确拿到，不必再靠正则表达式或模型去猜。一致性校验同样靠程序：最终文本若残留没替换掉的占位符，或替换后的值与计划对不上，系统会马上标错。数据集的质量就是这么保住的。

数据集结构与技术细节

技术人员看Nemotron PII Japan的结构，会觉得规整、好上手。

• 数据量：100,000份文档，总计约3,474万个Token（按NVIDIA Nemotron Nano 9B v2 Japanese分词器统计）。
• PII标注：共810,703个PII Span，平均每份文档约8.11处。
• 标签体系覆盖56种PII实体类型。姓名、地址、邮箱、账号、マイナンバー（日本个人编号）这些常见项之外，日期、时间、医疗机构名、教育机构名和公家机构名也单独做了区分。
• 格式有两种：带标签的自然文本，以及结构化的Span列表。Span列表逐条记录每个PII在原始文本中的起始位置（start）、结束位置（end）、具体文本内容（text）和标签类型（label）。

拿一份贷款审查书举例，数据集里既有脱敏前的原文，也有带标签的版本（如[佐藤]last_name [陽奈美]first_name）和对应的Span坐标。开发者直接拿这些坐标评估模型检测精度就行，不用自己重新对齐文本。

实测效果：微调后性能大幅提升

为验证数据集是否管用，NVIDIA团队拿urchade/gliner_multi-v2.1模型做了微调实验。

10万份数据被切成95,000份训练集和5,000份内部验证集。微调3个epoch后，模型在内部验证集上的F1分数从基线的较低水平升到98.08%。

更关键的考验是外部泛化。团队选了两个外部数据集做评估：

1. Sumi test：2,000份基于模板的合成PII评估数据。
2. Sumi OOD：520份数据，把合成PII嵌进Wikipedia、法令和文学文章里，用来测模型在非模板化、复杂语境下的表现。

评估指标用的是严格的“完全一致Micro F1”，56种标签被映射成8个通用类别（姓名、电话、地址、邮箱、日期、URL、账号、卡号）。结果如下：

• Sumi test上，微调后的模型F1分数从基线的13.41%升到73.80%。
• Sumi OOD上，F1分数从8.13%升到65.30%。

提升幅度超过60个百分点。这说明用高质量、领域特定的合成数据做微调，能明显加强模型识别日语PII的能力，碰上非标准化文本时鲁棒性也还撑得住。

还要说明一点：这里的日期评估只算“出生日期”（date_of_birth），通用日期和时间被排除在外，免得日期格式五花八门带来噪音。

如何在实际项目中应用？

Nemotron PII Japan不只是学术研究的工具，对搭建生产级AI应用也有直接参考价值。

1. 开发阶段的回归测试

开发面向日本市场的AI应用时，这套数据集可以用来搭自动化测试流程。比如做「贷款文档自动摘要」，把数据集里的贷款审查书喂给模型，看它有没有把姓名、地址、账号清干净，同时保住借款目的和审批理由。哪类文档老出错，就针对那类补微调数据。

2. 评估PII检测模型的边界

数据集里塞了大量边缘案例——复杂的地址格式、和历日期、多角色姓名——正好拿来给PII检测模型做压力测试。看模型在哪些实体上容易漏报（False Negative）、哪些容易误报（False Positive），再回头改预处理规则或调阈值。

3. 注意事项

数据集质量是高，用的时候还是有几个坑要留意。

• 标注并非覆盖全部PII。标注按特定规则做，文中可能藏着没被标出来的潜在PII。所以不能直接把未标注部分当成「非PII」去算误报率，那样评出来的结果会偏。
• 没有纯负样本。10万份文档全都含PII。想测模型在无PII文档上的误报率，得另外准备不含PII的测试数据。
• 合成数据有局限。逻辑上自洽归自洽，它终究不是真实世界的数据。真实文档里的噪声、错别字、非标准表达会更多。模型上线前，务必拿真实的脱敏数据做最终验证。

结语

Nemotron PII Japan的发布，给日语NLP社区添了一份可用资源。它走「合成+精确标注」的路子，绕开隐私合规的障碍，让开发者把精力放在提升模型的隐私保护能力上。

对正在做日本市场金融、医疗或行政AI应用的团队来说，这份数据集既是测试基准，也是训练素材库。用起来，能做出既懂日语业务逻辑、又守得住隐私底线的AI系统。

通过Hugging Face可以直接加载：

from datasets import load_dataset  
ds = load_dataset("nvidia/Nemotron-PII-Japan")

隐私法规越收越紧的当下，这种开放、透明、质量过硬的数据基础设施，或许正是AI安全落地往前走的那一步。