AI训练数据边界新规密集落地：网站可一次性声明是否拒绝

21世纪经济报道记者肖潇 北京报道

互联网三十几年来一直守着一套“君子协议”。狭义的指的就是robots.txt，一行代码，网页用它告诉爬虫哪些内容能抓、哪些不能。往大了说，这套东西体现的是互联网开放共享的精神：我把数据资源向你敞开，你也得尊重我的使用边界。

可AI一轮又一轮地冲击着这份延续多年的共识。海量的百科、新闻、小说、学术资料被拿去训练大模型的语文能力；如今订票、点餐、申请退款这些在线服务，也能被

不过到了今年，围绕AI的使用边界，新的“君子协议”开始密集冒出来。

近期OpenAI、谷歌、微软和Anthropic四家承诺加入一项技术提案，网站可以一次性声明自己是否拒绝AI训练，不用再给每个AI单独定规则。这项提案名为“

应用生态里，类似的规则也在成型。11月，工信部发布《关于加强

数据使用的边界，不只是法律层面的争议，也是个技术问题。互联网发展初期，网站和搜索引擎靠一套约定试着摆平彼此既竞争又合作的关系；现在AI治理也走到了这一步。

“AI退出机制”在海外成形

2022年底，AI生图模型火起来，创作者开始用技术手段表达拒绝AI的意愿。

数字艺术社区DeviantArt是个标志性事件。当时该平台基于Stable Diffusion推出了自家的商业化AI绘画工具，对艺术家来说这局面相当讽刺：作品发在平台上，早被外部AI公司抓去当大型训练数据集，平台自己又接着推商业化工具。

更让人不满的是，DeviantArt默认用户同意把作品用于AI训练。创作者想退出，得一件件处理，想批量处理还得交申请表。上传作品多的创作者，操作成本高得离谱。

用户集体出走带来的压力下，DeviantArt改了授权机制：创作者可以通过

这给行业实践打了个样。2023年到2025年，网站层面的AI退出机制成了主流方向。

这期间，AI公司陆续公开了自家爬虫的身份。比如Anthropic把爬虫分成用于模型训练的

Cloudflare则试着用更统一的表达方式，2025年推出“

沿着AI能不能抓内容、能抓哪些内容、拿去干什么、抓完怎么付费这条链，新的内容流通基础设施成形了。

可技术方案越出越多，碎片化的问题并没消掉。每家AI公司都有自己的爬虫名称和规则，网站只能一个一个识别、逐个配置。IPTC今年统计发现，抽样的504家内容网站里，49.6%通过robots.txt屏蔽了至少一种AI爬虫，但其他退出机制的采用率都不到2%，行业始终缺一个统一标准。

今年10月，新解法出现了。Anthropic一名工程师提出“共享令牌”（

眼下OpenAI、谷歌、微软和Anthropic四家巨头已宣布接入。Anthropic表示正在部署，OpenAI计划未来几个月内实施，谷歌和微软则安排在2027年2月之前接入。

苹果、Meta和Perplexity暂未出现在首批名单中。OpenAI称这是自愿行动，并在承诺结尾向业内喊话：“我们鼓励其他 AI 提供商都遵守这一信号。”

行业承诺先行，法规尚未定性

就像字面意义上的“君子协议”——robots.txt这类机制本质上是自愿声明，相当于在家门口插块“禁止入内”的牌子，但拦不住爬虫硬闯；违反robots规则本身，并不当然构成侵权。

AI公司愿意接受、还主动推这类机制，背后是越来越大的版权诉讼和合规压力。

美国哥伦比亚新闻学院统计，全球AI公司已收到48起来自媒体提起的版权起诉。《纽约时报》《时代杂志》《朝日新闻》等大型媒体机构，正在起诉AI公司未经授权擅自用版权内容训练大模型。在这个层面上，AI退出机制可以看作缓兵之计：已经发生的数据使用争议它解决不了，但至少为将来承诺了一套行为规则。

欧盟也在试着把这类行业做法写进法律条文。“共享令牌”正是在这套合规要求下推出来的。互联网工程任务组眼下正在审看“共享令牌”。

视线拉回国内，个人信息保护方面的司法规则同样划出了AI训练退出的边界。今年9月，最高法发布《关于依法审理涉人工智能纠纷案件的意见》，明确只要对个人权益有重大影响，就应当依法取得个人同意。不过新闻、图片、小说、学术资料等内容的AI退出机制，国内还没有规定覆盖，行业里的实践也相当有限。

流量与代理：两块没解开的疙瘩

AI退出机制还在继续打磨，往后至少有几处争议要面对：

争议之一，是拒绝AI之后，怎么保证自己不被穿小鞋。

不少互联网公司手里既有搜索引擎，又有AI大模型，一旦拒绝AI，搜索流量可能跟着受牵连。目前把曝光问题说清楚的只有微软——微软承诺，内容方不管选择退出AI训练还是AI推理，必应里的搜索排名都不受影响。

谷歌此前在官方文档里也提过，使用……但“AI回答里的可见性”，谷歌给不了保证。问题在于，眼下没有工具能统计AI回答带来的流量，网站也就没法算清拒绝AI爬虫会丢掉多少点击。

争议之二，AI用内容，该默认允许还是默认拒绝。

市场咨询机构ScalePost的数据摆在那里：过去一个月，OpenAI、谷歌、微软和Anthropic四家巨头合计发出约10亿次爬虫请求，其中检查网页robots.txt文件的只有0.15%。换句话说，拒绝声明可能压根没人理，退出机制很可能“只是表面功夫”。

外界因此出现反对声音，认为授权机制应当设计成默认拒绝，创作者若允许AI爬虫，再单独表示同意。这取决

争议之三，也是当下最大的一个，AI搜索和

最新的“共享令牌”把“AI训练”单独定义出来，排除的爬虫也只限训练用途。可如今更多爬虫跑的是AI推理——大模型联网搜索、调用外部网页，替用户把答案总结出来，这条线很难划清。

IETF

国内在

11月6日，工信部又发布了一份官方规章《关于加强

按照这一要求，