OpenAI、谷歌、微软、Anthropic 联合推行 AI 抓取退出新标准
IT之家 11 月 1 日消息，OpenAI、谷歌、微软以及 Anthropic 近日宣布将采用一项新标准，内容发布方可以借助该标准选择拒绝 AI 抓取自家网站内容。借助这项管控机制，内容发布方可以一次性向多家 AI 企业统一申明自身针对 AI 模型训练的内容使用偏好，而不必为每家企业单独设置规则。该标准由 Anthr
OpenAI、谷歌、微软和 Anthropic 近日共同宣布，将采纳一项新标准。有了它，内容发布方就能选择不让 AI 抓取自家网站的内容。这套管控机制允许发布方一次性向多家 AI 企业统一说明自己对 AI 模型训练的内容使用偏好，不用再逐家单独设规则。
该标准由 
Anthropic 技术负责人 Kevin Kelley 提交给互联网工程任务组（IETF），会集成进网站的 robots.txt 文件。
11 月 1 日消息，robots.txt 文件长期以来承担着一项职责：告诉网络爬虫哪些内容可以抓、哪些不能抓，搜索索引、网页归档和 AI 模型训练等场景都适用。问题在于，眼下网站得向每一家 AI 企业分别声明自己在 AI 训练方面的内容使用偏好。各类 AI 爬虫不断抓取网站内容、把网页素材送进 AI 模型训练，内容发布方为此焦头烂额。
网站目前需逐家声明训练偏好，新标准要做的就是简化这一流程。Anthropic 已率先采纳，
本文由本站编辑组整理与排版，内容基于公开信息核实后归纳发布，与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态，力求信息准确、表述清晰；文中涉及的名称、价格与功能细节可能随官方调整而变化，请以官方最新说明为准。如发现疏漏或表述有误，欢迎通过站内渠道反馈指正。
