Anthropic警告其已接近实现自我构建AI能力

Anthropic在最新修订的S-1文件中埋下了一句不太起眼、但分量很重的警告：公司可能即将触及“递归自我改进”（RSI）的门槛。所谓RSI，指的是AI已经擅长到能够训练自己，从而引发能力急剧加速的临界点。对AI悲观派来说，这是有去无回的灾难起点——AI把自己迭代得足够强大后脱离人类控制，甚至在追求目标时对造成的损害毫不在意；对乐观派而言，这却是技术承诺的兑现，AI将成为生产力与科学发现上难以想象的工具。Anthropic自己的态度是两者兼有：它在文件中承认已在研发中使用AI，但同时提示，“用AI帮助构建能力更强的AI也可能带来相当大的安全风险，尤其是当它急剧加速进展时”，并称这属于其“负责任扩展政策”的覆盖范围。 这件事的背景是，RSI一词今年早些时候开始流行时，不少人认为它只是个流行词，或者至少是一个难以实现、难以定义、更难以证明的目标。但Anthropic周一在风险因素部分新增了两条陈述：其一，公司已经用AI开发出新模型，而这些模型的能力跃升在当时并未被识别出来；其二，公司可能很快就会满足自己对RSI的定义。原文写道，随着Anthropic越来越多地用AI系统加速自身研发，模型能力的推进速度可能超过公司开发、验证和落实相应安全与对齐措施的能力，因此过去曾出现、未来也可能出现“直到显著加速已经发生后才察觉”的情况。文件还举例说，根据内部估算和对未来模型的预期（而非当前模型的表现），公司可能“即将”达到其负责任扩展政策中“可归因于AI的显著加速进展”的定义门槛。不过Anthropic同时强调，目前没有任何模型被认定越过这一阈值，并承诺在可预见的未来把人类留在研发流程中，正在考虑更新政策以确保人类对前沿模型开发的掌控。 对关注AI治理的人来说，这份文件的微妙之处在于，S-1既是信息披露也是营销材料，宣称“接近能自我构建的模型”难免有自我抬高的成分。但不可否认的是，Claude今年在编程、数学和网络安全等方向的能力确实在快速跃升。如果Anthropic自己都认为RSI近在眼前，那么监管者和行业或许该认真对待这一判断，并据此提前布局治理规则。