威尔·奥尔：训练数据透明度只公开了“有什么”，决策过程仍藏在水下

编者按：生成式人工智能跑得越来越快，训练数据从哪来、由什么构成、怎么用，正成为人工智能治理绕不开的话题。数据集透明度常被看成保障版权、隐私和公众知情权、推动企业问责的一种手段，可光披露数据集里有什么，远远说不清背后的权力关系和决策逻辑。

威尔·奥尔（Will Orr）曾在新疆美国开放技术研究所担任政策研究员，他在TechPolicy.Press上发文，从数据获取、清洗、筛选和评估这些环节入手，指出眼下透明度机制的短板，并给出完善治理框架的思路。

观察者网“世界科先声”编译此文，用意是推动读者不只盯着数据内容，而是往深处看：数据集怎么形成、由谁拍板、这些决定又会怎样影响社会。

原文标题：《训练数据集透明度要求掩盖了什么》

【文/ 威尔·奥尔】

人工智能治理领域有一种流行看法：把大型语言模型训练数据集的构成披露得更清楚，政府、研究人员和其他利益相关方就更容易要求人工智能开发企业担起责任。

训练数据集常常是人工智能危害的源头，偏见、歧视、数字权利受侵蚀都与此有关。透明度要求的本意，是让版权所有者、隐私保护倡导者以及对人工智能持批判态度的研究人员拿到模型训练数据的信息，好核实自身利益有没有被保护，并据此向人工智能企业追责。与此同时，数据集透明度披露也能给消费者（个人和企业都算）提供必要信息，帮他们判断哪种人工智能系统更合自己的需求。

这套理念已被多个州、国家和国际司法管辖区采纳。加利福尼亚州和欧盟就是典型，两者都通过法律，要求前沿人工智能企业公布训练数据集构成的摘要。不过，许多从公共利益出发治理人工智能的利益相关方，可能还没充分意识到现行训练数据集透明度要求的局限。

本文想厘清现有数据集透明度要求到底披露了什么，点出它没能呈现的关键流程，再探讨用什么更有效的办法提高数据集透明度，真正把问责落到实处。

有一点需要明确：只知道训练数据集包含哪些内容，并不足以实现有意义的问责。知道哪些数据进了训练集，并不能让我们充分了解这些数据为什么被纳入，更无法说明如何对相关决定提出质疑。

说到底，究竟哪些人的数据能被收进数据集、哪些人的利益会受到保护、又有哪些人要承受数据集带来的风险，取决于数据处理实践中那些背后的取舍。想做到真正的问责，就得弄清楚数据集是怎么被做出来的，以及那些往往被当成常规流程、例行公事的数据集构建做法，背后究竟依据什么在决策。

现有训练数据集透明度声明内容含糊，实际作用有限

加利福尼亚州《训练数据透明度法案》（Training Data Transparency Act，TDTA）已在2026年1月1日生效。按照该法案，生成式人工智能系统的开发者需要就训练数据集的构成提交一份覆盖十二个类别的"高层次摘要"，说明用了哪些类型的数据、其中是否含私人数据或受版权保护的材料、数据通过什么途径取得、有没有做过清理、过滤或其他处理，以及是否用到合成数据。

欧盟近期生效的《人工智能法案》（Artificial Intelligence Act）也提出了类似要求，规定生成式人工智能系统的开发者必须公布训练数据集内容“足够详细的摘要”。

然而，落实这些要求并不容易。针对人工智能开发企业的版权诉讼，使企业更倾向于对训练数据集的构建过程及其具体内容保持沉默。

今年3月，xAI针对TDTA发起的法律挑战被加利福尼亚州一家联邦法院驳回。xAI给出的理由是：该法案逼企业交出商业秘密，违反美国宪法第五修正案；同时还强制企业表达意见，违反第一修正案。眼下xAI已就这一裁决提出上诉。

从早期的合规情况来看，相关披露大多流于宽泛和笼统。

例如，

现有披露声明更像是Evelyn Douek所说的“透明度表演”（transparency theater）：表面上履行了合规义务，却没有真正推动问责。

事实上，

可即便在现有框架下把训练数据集的透明度要求定得更细，也未必真能让人工智能系统及其基础得到有效问责。眼下这些数据集披露声明，对训练数据集的来源、用途、规模和内容只是泛泛而谈，企业为什么挑中某套数据集构建流程，几乎不作交代。

其实数据集的形成过程往往是反复迭代、临时调整出来的，其中有些关键决策会一路影响到整个模型开发流程。问题是现有的数据集文档记录方式，习惯在事后把这一团复杂过程梳理成一套工整、线性的叙述，结果这些决策在实际开发中到底怎么作出的，就被掩盖掉了。原本可以对这些决策提出质疑、发起挑战的空间，也随之消失。只要数据集披露仍然不讲清训练数据集如何构建、背后依据什么决策，问责就无从落地。

透明度披露掩盖了关键实践及其背后的判断

训练数据集里放什么，固然是重要的一步，但绝不是唯一重要的一步。数据到底怎么收集、怎么处理，企业又为什么这么做，眼下依然不透明。

比如Anthropic、Google和OpenAI这些前沿人工智能实验室，都在跑自己的网络爬虫，抓取网页文本拿去训练模型。可这些爬虫按什么标准决定先抓哪些网页、又靠什么办法发现新网页，外界并不知情。现有关于网络爬虫的研究显示，这类选择可能让训练数据里过多地包含发布较早、外部链接较多的英语机构来源。

网络数据只是训练数据集的一部分。授权数据集、标注数据集和用户生成数据集各自包含什么内容，这些数据通过什么方式取得、如何标注，又按什么标准判断其适用性，实际上都还没有对外披露。

合成数据是怎么造出来的，外界同样看不清。数据集构建中每一步选择，都会改变最终训练集的内容，也会影响其中所代表人群的权利。问题是这些流程一直不透明，造成的危害也就很难被发现。

至于数据集清理流程，目前公开的内容也只是笼统的概述。已经解封的法庭文件，倒给了一个难得的机会，让人看到Meta的工程师是如何过滤训练数据的。

有一种操作叫“实验性消融”（experimental ablation）。工程师会用不同的过滤启发式方法，做出多个版本的训练数据集，再分别拿它们训练模型，用标准化基准测试比较表现。举例来说，Meta的工程师曾把盗版图书馆里的科学与技术类书籍和小说替换进部分原有训练数据，然后再对比模型性能。

这么做不是为了造出所谓“干净”或“高质量”的数据集，而是要通过对数据的处理和筛选，换来更好的技术性能。训练数据集消融在人工智能行业已经很常见。一名Meta工程师甚至说，在LLaMa 4的开发过程中，自己做了100多次消融实验。不过，这些具体做法并没有写进公开的透明度声明。

在实验性消融这套模式下，什么算优质数据、训练数据集该怎么构建，其实取决于用来评估数据质量的基准测试。这就形成了“基准递归”（benchmark recursion）：基准数据集反过来决定了哪些数据一开始会被认定为高质量数据。

这个问题尤其值得警惕，因为用来验证训练数据集质量的基准，本身也可能有毛病。比如Meta用来比较训练数据集构成的一个基准Hellaswag，就被发现存在多项问题：31%的题目包含不符合语法规范的提示，85%的题目包含毫无意义的错误选项，8%的题目存在多个正确答案。研究人员因此认为，该基准不应被用于模型评估。

筛选训练数据集究竟用了哪些基准测试、为什么选这些基准，正是透明度要求应当披露的关键信息。这些信息只有公开，才能更好地推动问责、保护消费者权益。

说到底，这些都是模型治理层面的决策，直接关系到人工智能系统的基础、能力和社会影响。可目前公众仍然无法审查这些决策，也看不到背后的依据。

真正有意义的透明度，必须说明数据集如何形成以及为何如此构建

把数据获取和清理流程追溯一遍就能发现，数据集创建者在实际工作中要作出许多影响重大的决策，而这些决策往往没有明确的正确答案。它们通常发生在缺乏正式规则的模糊地带，同时还顶着激烈市场竞争的压力——企业必须尽快开发出性能更好的模型。

网络爬虫怎么设置、数据集质量评估基准怎么选、数据清理流程怎么定，都会影响最终哪些数据被纳入训练集，并进一步决定这些数据将如何塑造人工智能系统。

光靠透明度声明列出训练数据集里有什么，说明不了这些数据是怎么搭起来的，也讲不清企业为什么那样取舍。可真正左右数据所覆盖人群的，正是开发过程中敲定的那些具体决定。

所以，想让数据集透明度真正有意义，只把人工智能训练用到的技术材料汇总一遍不够，还得把数据集是怎么一步步建起来的、相关决定出于什么考虑一并记录下来。

换句话说，不能只盯着数据集里装了什么，还要“跨出”数据集本身，把它看成由科技企业内部一连串“不可见决策”搭成的系统。

要实现这样的透明度，至少需要建立以下四种机制：

1.政府应要求企业公开数据集构成和质量评估的标准。

政府制定或修订透明度要求时，应当写清楚：受监管企业必须公开说明它们按什么标准确定数据集构成、按什么标准评估数据集质量。判断数据质量所用的基准测试和评估标准，也属于要披露的范围。

基准测试和模型评估正越来越多地被用来界定什么叫“优质数据”，也在影响数据集怎么建。既然如此，这些标准就该让公众和研究人员去审视，不能当成藏在信息披露机制背后、中立又不必过问的基础设施。

2.企业应持续记录数据集构建过程中的版本变化及决策依据。

在数据集构建的每个阶段，企业都该持续维护版本日志，并把相关决定背后的理由记下来。别等事后才把构建过程整理成一份看上去完整、连贯的总结；数据收集和过滤流程是怎么定的、为什么这样选、当时受哪些条件和限制，都应当及时记录。

开源开发者在数据集文档里已经放进了这类信息，说明这种披露方式既做得到，也有实际用处。比如，研究人员借此可以对不同的数据集构建方法做有意义、可控的比较。

今后不管有没有法律或法规强制企业建立这类日志、汇总决策依据，这些做法都该成为企业的最佳实践，好让公众和研究人员真正弄明白数据集是怎么构建出来的。

Semrush通过对超过15万条的LLM（主要是ChatGPT、Perplexity）引用数据的来源进行了统计，并对引用最多的网站进行排名。

3.政府应要求或鼓励企业向独立审计人员开放数据获取和处理流程。

政府可以要求企业把数据集的获取和处理流程向独立审计人员开放，也可以拿激励措施引导企业这么做。

把数据集创建过程以及相关决策依据交给第三方审计人员查看，一方面能照顾企业对专有信息保护和反竞争监管的担忧，另一方面也能让AI企业为自己的决策担起责任。

伊利诺伊州7月签署的一部法律，要求大型前沿人工智能开发企业接受外部审计，评估模型可能带来的灾难性风险。不过这部法律没有提到要审计训练数据集的构成或创建过程。相关实施指南和新立法应当写清楚：审计人员必须能拿到数据集创建流程及其决策依据的实质性信息。

还有一点，得保证所谓的“第三方”审计人员真的独立，这既是眼下要做的，也是长期目标。强制审计，加上明确规定审计人员在评估模型安全性、可靠性和偏见时能查阅哪些具体信息，对商业部署的模型和政府采购的模型都很重要。

上面这些机制应当和数据集创建者、从业人员协商着定，不能只由政策制定者在纸上抽象设计。听取他们的意见，透明度要求才能落在数据集实际构建时面对的技术条件和制度现实上，也有助于找出那些影响重大、却长期没被充分认识的关键流程。

本文并不反对AI企业向研究人员和公众开放训练数据集供各方审查。真正要改的是政策制定者、研究人员和公民社会对数据集透明度的理解。光知道一个数据集里有什么，并不能让我们了解它是怎么构建的、为什么纳入某些数据、又为什么把其他数据排除在外。这些都是影响重大的模型治理决策，直接关系到数据集中所代表人群的利益。所以，相关决策的披露不该只在版权诉讼这类特殊情况下才发生。

那些塑造人工智能系统的数据处理实践、评估标准以及背后的决策依据，只要还藏在暗处，透明度要求就建不起有效的问责机制。