谷歌加入OpenAI和Anthropic，承诺提供新的抓取控制功能

谷歌、Anthropic、OpenAI和微软四家AI巨头近日共同承诺，将遵守一项新的robots.txt指令，让内容发布者能够明确表达自己是否允许网站内容被用于生成式AI训练。这一指令来自互联网开放标准组织IETF正在审议的一项提案，由Anthropic负责标准事务的技术负责人凯文·凯利起草。按照现有机制，网站运营者如果想阻止AI抓取，必须逐一识别各家公司的爬虫，并为每个服务商单独设置规则；新方案的核心变化在于，多家AI公司共同承认并遵守同一个信号，发布者只需在robots.txt中新增一个专用于AI训练的用户代理段落，写入“User-Agent: __usage_ai-training”并配合Disallow和Allow规则，即可一次性对参与方生效。比如发布者可以在整体禁止抓取的同时，用Allow单独放行/press-kit/这类希望被AI获取的页面。 需要说明的是，这一指令只针对以AI训练为目的的数据采集，并不等同于全面禁止爬虫，也不会影响网页在谷歌搜索中的正常收录和展示。谷歌明确表示，它会将该信号专门解读为针对“Google-Extended”爬虫的停止指令，而该爬虫正是为训练Gemini模型收集素材的通道。另一个容易被忽视的细节是，新规无法追溯此前的抓取行为——如果某家公司的爬虫过去已经抓取过某个页面，内容早已进入其训练数据，这项指令只能阻止未来的再次采集。落地节奏方面，Anthropic已率先开始支持该指令，微软计划于2027年2月1日跟进，谷歌称将在2027年初支持，OpenAI则承诺在未来几个月内实施。对依赖原创内容获客的跨境卖家和内容站点来说，这意味着多了一个与AI公司谈判的标准化工具，但能否真正保护内容资产，还要看各家爬虫的执行力度以及此前已被抓取数据的既成事实。