一文读懂:ai大模型训练中的核心版权问题

模型与算力

给法务和AI从业者梳理大模型训练数据的版权争议点,按语料获取环节逐项给出判断标准和核查动作,不含具体判例与赔偿数字。

做模型的团队常被法务问一句:这批语料哪来的、能不能用。法务翻完资料往往也答不上来,因为争议不在单一法条,而在数据从抓取到入库的每个环节。这篇按「来源—使用—输出」三段拆开讲,每段给出该问的问题和该留的证据,方便你在立项评审或供应商尽调时照着走一遍。具体法规版本和判例结果请以站内合规类页面为准。

做模型的团队常被法务问一句:这批语料哪来的、能不能用。法务翻完资料往往也答不上来,因为争议从来不在某一条法条上,而藏在数据从抓取到入库的每个环节里。来源不同、用法不同、输出方式不同,风险等级都不一样,一张笼统的合规承诺书挡不住实际问题。

这篇按「来源—使用—输出」三段拆开讲,每段给出该问的问题和该留的证据,方便你在立项评审、供应商尽调或内部审计时照着走一遍。具体法规版本和判例结果各地差异很大,也一直在变,请以站内合规类页面当时的口径为准,别拿旧结论套新项目。

先看语料怎么进来的:四类来源各有各的雷

语料来源大致分四类,风险点完全不同。法务第一件事不是背法条,而是让技术侧把「数据从哪来、怎么来、授权到哪一步」写成一张清单。清单写不出来,后面的分析都是空谈。

来源类型主要争议点核查动作
公开网页抓取robots协议、绕过反爬、付费墙内容核对抓取策略文档与开关记录
自有业务数据用户上传内容、聊天记录另有授权条款回溯用户协议里的使用范围
购买/授权数据集授权是研究用途还是商用可转授权看是否会随模型权重一起扩散
开源数据集许可证只覆盖标注文件还是原始素材确认底层图片音频另有归属
  • 公开网页抓取:重点看是否尊重robots协议、有没有绕过反爬和付费墙,策略文档和开关记录要能对得上
  • 自有业务数据:看着最安全,但用户上传内容、聊天记录往往另有授权条款,要逐条回溯用户协议约定的使用范围
  • 购买与授权数据集:重点看授权写的是「研究用途」还是「商用可转授权」,会不会随模型权重一起往外扩散
  • 开源数据集:看清许可证覆盖的是标注文件还是也包括原始素材,很多数据集只放了标注,底层图片音频归属另说

再看到底怎么用了:训练、微调、检索三条路风险不同

同样是使用受保护内容,预训练、微调、检索增强三条技术路线的争议点并不一样。判断标准很朴素:内容有没有被「记进」模型,以及能不能被还原出来。把这三条路的差别讲清楚,比笼统说一句「我们做了合规处理」有用得多。

预训练
把作品喂进参数,争的是是否落在合理使用范围内,各国口径不一,别拿一地结论套全球上线
微调
若把受保护内容记进权重,风险接近预训练;只调格式、风格的风险相对低,但仍要看语料来源
检索增强
通常按内容使用处理,但要管住缓存与对外输出,别把检索结果当成自有内容展示
输出复现
能不能复现原文段落,是判断「记忆」还是「泛化」的关键动作,建议做成常规抽检

判断标准可以记成一句话:越靠近「权重里存着原文」,争议越大;越靠近「实时检索、用完即走」,越像常规内容使用。但要提醒的是,这条判断在纯文本场景比较好用,多模态、语音、代码语料因为授权链条更复杂,不一定适用,需要单独评估。

落地动作:尽调要收哪些材料

文档收不齐,评审就只能靠口头承诺。建议把尽调材料固定成四类,缺哪条就标红,评审会上直接对着红项问。不用追求一次收全,但要能说清每条缺口的补交时间和责任人。

  1. 收数据来源清单逐条写明来源渠道、获取方式、授权文件编号、覆盖范围;缺哪条标红,谁补谁签字
  2. 核授权链条转授权是否闭环,特别是从第三方数据商买的数据,要求对方出具上游授权证明
  3. 留处理记录抓取时间、清洗规则、去重与过滤策略都留档,出问题时能证明做过合理努力
  4. 写应急预案接到权利人通知后的下架、重训、隔离流程写进合同,比写在内部PPT里管用

这套动作的价值不只是应付检查。等真收到通知再回头翻抓取日志,往往已经找不到当时的记录了,补证的成本远高于事前留档。供应商尽调时也一样,对方能不能当场拿出授权链条,本身就是可信度的一部分,类似中转站可信度检测那套思路。

什么时候这套流程不适用

不是所有团队都要按上面逐项查语料,硬套只会浪费人力。下面几种情况可以简化,但注意简化的是核查深度,不是完全不做记录。

  • 纯调用官方API、不自己训练的团队,主要看服务商条款和输出内容责任,不必逐项查语料来源
  • 只用完全自有、且已获明确书面授权的数据做微调,可简化来源核查,但输出复现检查仍要做
  • 内部研究性实验、不对外发布模型和产物,风险敞口相对小,一旦转为商用要重新走一遍
  • 只用合成数据或已进入公有领域的素材,来源压力小,但仍要确认合成过程没有间接用到受保护内容

判断是否适用,看三个问题:模型会不会对外发布?输出内容会不会直接触达用户?数据里有没有第三方权利内容?三个都是「否」,可以走简化流程;只要有一个是「是」,就回到上面的三段检查。

下一步把本文的核查清单对照你手上项目的语料台账走一遍,缺项先标红;合规口径和价格一样会变,去站内合规页面核对当时的口径和数字,比记住某个结论更靠谱。

常见问题

我们用的是公开数据集,应该没问题吧?

不一定。公开只代表能下载,不代表能商用。要先看许可证覆盖范围,很多数据集只授权标注结果,底层素材的版权仍在原始权利人手里。做法是把数据集许可证、上游素材来源、你自己的使用场景三者对齐,对不上就换数据或补授权。

模型输出和别人文章很像,算侵权吗?

取决于相似程度和是否构成实质性相似,不是「像」就侵权。实务上先做复现测试:用特定提示词能否让模型大段输出原文。如果能,说明记忆程度高,需要加过滤或调整训练策略;如果只是语义接近,通常按正常内容使用处理。具体认定标准以站内合规页面口径为准。

法务在项目里该在什么节点介入?

最晚在数据入库前,不是上线前。立项时确认数据来源类型,采集阶段留抓取与授权记录,训练前做一次来源核查,上线前再做输出复现测试。顺序颠倒的话,等模型训完才发现某批数据不能用,重训成本远高于事前筛查。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。