谷歌、微软与OpenAI计划遵守AI训练共享退出机制

谷歌、微软和OpenAI上周五宣布，将共同遵守一条用于表达AI训练偏好的robots.txt共享指令。这意味着网站主只需写一条规则，就能向所有参与方表明自己的内容是否允许用于AI训练，而不必再针对每家公司的爬虫分别设置。这条指令来自Anthropic的Kevin Kelley同日提交给IETF（互联网工程任务组）AI偏好工作组的一份互联网草案，目前在IETF文档追踪系统中被列为个人草案，并不代表IETF的正式标准化活动。Kelley在工作组邮件列表中透露，Anthropic已开始开发支持该功能。不过按照三家各自给出的时间表，目前没有任何一家真正支持这条指令，谷歌和微软还分别说明了各自不同的处理方式。 这条共享指令的写法并不复杂。草案没有给robots.txt增加新语法，网站主只需在常规规则组中使用一个名为__usage_ai-training的策略标识，配合Allow和Disallow即可。例如，要禁止全站内容用于AI训练、但保留/press-kit/目录，可以写成：User-Agent: __usage_ai-training、Disallow: /、Allow: /press-kit/。该标识的含义依据工作组的词汇表草案，特指用内容修改生成式AI模型的学习参数，仅做分类或排序等非生成任务的模型不在此列。已经写入robots.txt的旧规则不会被视作共享训练偏好的一部分，通配符组（User-Agent: *）也永远无法匹配该标识，而没有该规则组的文件则表示没有偏好——Kelley称目前所有已发布的robots.txt文件都属于这种情况。此外，该标识并不控制爬虫抓取行为。 三家公司的落地方式各有不同。谷歌的John Mueller在博文中表示，如果网站通过共享指令退出训练、且未单独指定Google-Extended，谷歌计划将其视同“发布者已禁止Google-Extended”，并目标在2027年提供支持，其爬虫文档写的是2027年初。Google-Extended控制内容能否用于训练未来的Gemini模型，以及能否用于Gemini应用和Vertex AI中的 grounding（即模型回答时调用搜索索引内容）。博文补充说，明确允许Google-Extended的网站有资格通过grounding出现在Gemini应用的回答中，而该设置不影响网站在谷歌搜索中的收录；AI Overviews和AI Mode另有独立的退出开关，即Search Console中的生成式AI搜索控制项。微软方面，必应首席产品经理Krishna Madhavan的博文表示，微软接受共享指令用于训练，但另外增加了一个独立的AI Grounding偏好，仅在页面级别设置，用于控制内容能否用于生成AI答案；微软还允许通过meta标签或HTTP头为单个页面设置训练偏好，覆盖该页面的robots.txt规则。微软要求使用其NoArchive和NoCache标签的网站，在2027年3月1日前切换到新的偏好设置。