大模型训练数据合规的具体标准怎么排查:先分清你是哪一类数据持有方

模型与算力

把训练数据合规拆成来源、授权、内容、留痕四条线,给出能逐项核对的排查顺序,并说明哪类主体适用哪条标准。

搜「训练数据合规标准」的人,通常已经拿到一份语料清单,却不知道该从哪一格开始核对。是先去查授权协议,还是先过滤内容?不同身份——自建模型、微调别人的基座、只用 API——要承担的义务根本不是同一套。这篇按排查顺序走一遍,给你一份能直接照着填的核对表,也写清哪些情况下这套流程不适用。

搜「训练数据合规标准」的人,多半手上已经有一份语料清单,摊开在那儿不知道该从哪一格往下核。先查授权协议,还是先过滤内容?这问题没有通用答案,因为你是哪一类数据持有方,决定了你要背的义务根本不一样。同一份网页语料,自建模型的人要管,只调 API 的人基本不用管。

这篇按排查顺序走一遍:先认身份,再顺着来源、内容、授权范围、留痕四条线逐项核对。每节都给能直接照着填的判断标准,最后也写清哪些情况下这套流程不适用。别急着动手,先把身份那一行写完。

第一步不是查数据,是查你自己是谁

很多人一上来就翻合同,翻到一半发现自己在纠结一个根本不用管的问题。比如只调 API、输出也不拿回来训练的小团队,训练数据合规这事儿的主体责任落在平台那边,你要自查的是输出内容怎么用、有没有拿生成结果去喂别的模型。先把身份钉死,后面每一条结论才能挂上去。

从零预训练
语料全部自己负责,来源、授权、内容、留痕四条线一条都跑不掉。
拿开源权重做微调
基座许可证和自己的微调语料授权是两件事,必须分开核,别混着看。
只调 API 不做训练
训练侧压力多在平台方,但输出内容的再使用、对外发布仍要自己过一遍。

来源这条线:每个数据集都要能倒推回一个人或一份协议

来源排查说白了就一个问题:这份数据从哪来,能不能一路倒推回一个具体的人、一家具体的机构或者一份具体的协议。推不回去的,先剔掉,别指望后面用内容过滤补救。过滤再狠,也变不出一份不存在的授权。

实际做的时候按数据集建一张表,一列一列填。网页抓取的要单独标出来,因为判断点和买来的、捐赠来的数据完全不是一回事:robots 协议怎么写的、服务条款有没有禁止训练、有没有登录后才能看到的内容,这三项各有各的看法,不能一句话带过。

字段填什么填不出来的处理
获取渠道自采、采购、开源数据集、用户提供来源不清的单独挂起
原始发布方具体的机构或项目名只写「网上」视为不合格
许可证名称照抄协议原名,别自己概括只写「可商用」不算数
二次分发限制能否随模型一起提供看不懂就按最严的解释走

买来的数据要特别看一眼合同措辞:写的是「使用权」还是「所有权加可转授权」。前者一般只能自己用,拿它训练完再把模型对外提供,往往就越界了。这一条不看合同原文基本判断不了。

内容这条线:过滤不是删敏感词,是留证据

内容过滤最常见的误区,是把动作做了但没留下任何东西。回头被问「这批数据怎么处理的」,只能答一句「已经脱敏了」。这句话没有信息量。要能回答的是:谁、在什么时候、用什么规则、处理了哪一批,命中多少条,其中多少条又人工复核过。

  • 个人信息相关的内容单独过一遍,记录识别方式和处置方式,别混在通用过滤里
  • 涉及未成年人的内容单列一类,判断标准比普通内容严一档
  • 医疗、金融里针对具体个人的建议类内容,建议整段剔除而不是改写
  • 过滤规则本身要版本化,规则改了要能对应回当时跑的是哪一版
  • 日志和分析结果分开放,别让日志跟着数据一起被清掉

还有一点容易忽略:内容合规和版权合规是两条独立的线。做一次敏感内容过滤,不等于把授权问题也解决了。这两件事的检查项、证据、责任人都不一样,别想着一次过滤交两份差。

授权范围最容易读错的三处

许可证这块,踩坑基本集中在三个地方。第一个是标题和正文不一致:标题写着可商用,正文里却明确排除训练用途。这种只能逐条读,看标题会看错。第二个是研究用途的权重,很多人以为改一改就能商用,中间其实隔着一道重新授权。第三个更隐蔽——你的输出要不要开源、要不要提供给第三方,这会反过来限制你能用哪些语料。计划对外发模型,就别碰那些禁止衍生的数据。

  1. 逐条读而不是扫标题把许可证正文里跟训练、衍生、分发有关的句子单独摘出来,摘不出明确允许的,就当不允许。
  2. 区分基座和语料基座许可证管的是权重怎么用,语料授权管的是数据怎么用,两张表分开核,别互相顶替。
  3. 倒推输出形态先定模型是否对外、是否开源、是否给第三方调用,再回头看哪些语料在这个前提下还能留。
  4. 列不确定清单拿不准的条目单独列一张风险清单,写明不确定点在哪,按最严解释执行并留好记录。

留痕:出问题时能拿出什么

留痕不是把文件堆在网盘里就完了,关键是三份东西能互相指认:数据清单、授权凭证、处理日志。数据清单里提到的每个数据集,都要能顺着编号找到对应的授权文件和当时的处理日志。找不到对应关系的,等于没留。

版本对应也要管起来。哪一版模型用了哪一版数据集,数据如果中途替换或者剔除过,要能回滚到旧记录。语料来源方撤回授权、许可证改版,这些都得设成重新评估的触发条件,定期扫一遍,别等出事才想起来查。对外说明的时候只讲流程和范围,别写「绝对不含」这种做不到的承诺,做不到的承诺比不说更麻烦。

下一步各家基座模型的许可证条款和允许用途,站内资料库按厂商整理过,核对时可以直接对照原文;中转站的可靠性判断另有页面,别和训练数据合规混为一谈。

常见问题

只用开源权重做微调,也要按预训练的标准排查吗?

不用全套。重点放在你自己新增的那部分语料上,基座那边核对许可证是否允许微调和商用即可。但如果你把微调后的模型对外提供,输出内容的责任还是落在你这边,不能拿「基座是开源的」当挡箭牌。

网页公开可访问的内容,抓来训练就没问题吗?

公开可访问和允许训练是两件事。要看目标站点的服务条款有没有排除数据挖掘或模型训练,robots 协议也要对一遍。拿不准的那部分,建议单独标注为待确认,别默认放行。

有没有一份标准能把所有情况都覆盖?

没有。各地区法规、平台条款、许可证文本各管一段,拼起来才是你实际要守的边界。实际做法是先按上面四条线自查,再把拿不准的项列成清单去问法务或平台方,比找一个万能标准更省时间。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。