OpenAI、Google等四巨头统一AI训练拒绝规则，网站不用再逐家设置

动察 Beating AI 快讯，OpenAI、Google、微软和 Anthropic 达成一致：以后网站只需在 `robots.txt` 中添加 `User-Agent: __usage_ai-training` 和 `Disallow: /` 两条规则，就能同时告诉这几家公司，不要拿自己的内容训练 AI。过去，网站需要分别针对 GPTBot、ClaudeBot 等爬虫设置规则。

这套规则只针对 AI 训练，不会一并禁止爬虫抓取网站，也不一定影响 AI 在回答中引用网站内容。它由 Anthropic 工程师提出，目前还是互联网工程任务组（IETF）的技术草案。

各家公司对规则的执行方式不完全一样。微软允许网站单独禁止 AI 训练，同时保留内容被 AI 搜索引用的机会。Google 则计划把这条规则与现有的 Google-Extended 设置绑定，可能连 Gemini 引用网站内容也一起限制。

Anthropic 已开始采用，微软计划在 2027 年 2 月生效，Google 计划 2027 年支持，OpenAI 也将在未来数月上线。

但这些规则不能撤回此前已经用于训练的数据，也无法强制 AI 公司遵守。