AI巨头支持新方式拒绝数据抓取

OpenAI、谷歌、微软和Anthropic四家AI巨头同意采纳一项新的网页抓取退出标准，允许内容发布方一次性向多家AI公司表达“不要拿我的内容去训练模型”的意愿，而不必再逐家单独设置。这项名为“策略令牌”（policy token）的共享信号由Anthropic标准技术负责人凯文·凯利提出，目前正在互联网工程任务组（IETF）框架下推进，未来将嵌入网站根目录下的robots.txt文件——这个文件长期以来就是网站告诉搜索引擎和归档爬虫“哪些能抓、哪些不能抓”的通用开关。 这件事的背景是，过去两年AI公司大规模抓取公开网页训练模型，内容方与AI企业之间的摩擦不断升级。此前的退出机制基本靠各家自己维护的名单或协议，发布方要分别去OpenAI、谷歌、Anthropic等处登记，流程碎片化、执行效果也参差不齐。新标准的意义在于把“退出”变成一个行业通用的技术信号：只要在robots.txt里写一次，四家主要玩家就都认。对新闻媒体、内容平台和独立站长来说，这降低了维权成本；对AI公司而言，则是用一套可审计的技术规范来回应外界对其“未经许可使用数据”的批评。不过需要注意，这仍是一个自愿采纳的行业标准，不具备法律强制力，且robots.txt本身只约束守规矩的爬虫，对无视规则的抓取行为没有实际拦截能力。对跨境电商卖家和出海创业者来说，如果你的独立站或内容资产不希望被AI拿去训练，这项标准落地后值得关注并提前配置；但若你本身依赖AI工具做选品分析、文案生成，也要留意未来公开数据池可能因此收窄带来的影响。