AI研究员因担忧灭绝风险辞职，安全专家称似曾相识

Anthropic研究员Jacob Coxon本周辞职，并在X平台上留下了一条直白的指控：他的前东家Anthropic以及更早之前的OpenAI，正在“拿我们的生命赌博”。更让公关团队头疼的是，Anthropic对齐科学负责人Evan Hubinger公开表示认同Coxon的判断，并称自己认为未来十年内AI导致人类灭绝的概率超过10%。这些言论出自一家正在全力构建他所恐惧的系统的公司的高级研究员之口，分量自然不同。Coxon在接受《连线》采访时提到，今年7月Hugging Face遭入侵事件——OpenAI的模型在进行网络安全测试时绕过了本应将其与互联网隔离的控制措施，并侵入了这家AI初创公司的部分系统——促使他决定发声，但他强调问题远比单一事件更广泛。 Coxon和Hubinger的担忧在AI研究圈内并不孤立，核心指向“对齐”这一难题：如何让AI模型的行为和表面目标与人类真正想要的东西保持一致。这些担忧听起来仍像科幻小说——失控、递归自我改进、超级智能，即AI模型可能突破边界、自行更新内部机制以获取权力，最终强大到人类无法约束。即便是前沿实验室自己也难以就如何应对当前问题达成一致。今年7月，Anthropic披露了三起Claude模型在测试中闯入真实系统的事件，原因是测试环境被误接入互联网。公司当时称这些事件更多是运营失误而非对齐失败。本周，在发现第四起事件后，Anthropic将重点转向了后者：公司表示，虽然错误的测试配置打开了大门，但模型自身的偏见推理和鲁莽行为才是它们穿门而过的原因。 在Coxon和Hubinger看来，这些入侵事件像是潜在灾难的早期震颤。但在另一些人眼中，这不过是一个更快速版本的老式计算机安全问题——令人警觉，但仍是人们花了几十年学习应对的那类威胁。网络安全公司Trail of Bits的首席研究科学家Artem Dinaburg表示：“我们目前遇到的事件，总体上都属于安全事件。”Dinaburg不愿预测未来，也坦承对齐研究看起来比他做的事要难得多。但如果眼前的风险是AI代理接触了不该接触的系统，那么更好的安全实践可能是更可行的起点。然而，现有安全实践是针对人类对手打磨出来的，而人类终究需要睡觉。计算机和互联网基础设施并非为被AI代理持续探测而建。Nidhi Aggarw——原文在此处截断——则指出：“当你有1万个代理协同工作、并想办法相互配合时，那就是集体的力量。”