OpenAI与Anthropic研究人员警告AI风险

9月8日，27岁的英国研究员雅各布·考克森在旧金山阿拉莫广场的公园长椅上发了一条推文：“我今天从Anthropic辞职了。过去三年我在OpenAI和Anthropic做预训练研究。两家公司都没有负责任地行事。他们正一路狂奔冲向自我改进的超级智能，拿我们的生命当赌注。”他按下发送键时没抱任何期待，结果却意外引发了一场连锁反应，彻底改变了围绕人工智能的争论走向。 36小时内，考克森的帖子获得了1.53亿次浏览。Anthropic负责确保AI行为符合设计意图的部门主管埃文·胡宾格跟帖写道：“我们真的发自内心地相信AI可能杀死全人类。”OpenAI负责监控AI智能体的马库斯·威廉姆斯则给出了更具体的判断：如果没有AI监管或实验室之间的协调减速，“未来几年内人类灭绝的可能性非常高”，他给出的概率是70%。数十位政客加入了这场担忧的合唱。9月12日，Anthropic CEO达里奥·阿莫代伊发表了一篇3800字的文章，主张AI日益加剧的风险值得让整个行业慢下来。他写道，最快6到12个月内，行为失准的AI“就可能具备接管整个互联网的能力”。他的两位最激烈的竞争对手——SpaceXAI的埃隆·马斯克和OpenAI的山姆·奥特曼——都表示认同减速的必要性。奥特曼宣布，出于安全考虑，他的公司今年不会上市。两人都补充说，愿意邀请独立安全专家进入公司内部，帮助遏制AI脱离人类控制的风险，但没有宣布会立即放缓或停止新模型的训练。 考克森的警告远非AI安全专家第一次发出末日式的呼吁，但它恰好落在了一个展示出AI能力已变得多么可怕的夏天末尾。Anthropic和OpenAI的前沿模型如今能解决世界上最难的数学题，也能攻破尖端的网络安全系统。这些模型正越来越多地被用来加速开发更强大的后继者。英伟达CEO黄仁勋这样的权威人物甚至宣称，通用人工智能（AGI，即AI在大多数能力上达到或超越人类的门槛）已经到来。一些人担心，我们正站在一个临界点的边缘：AI系统可能自主改进自身，也就是所谓的“递归自我改进”。与此同时，一系列前所未有的安全事件提供了令人不安的证据，表明构建强大AI系统的公司并不总能控制住它们。7月，OpenAI披露其一群智能体在一次网络安全测试中失控，黑入了一家名为Hugging Face的独立公司。这可能只是冰山一角。该公司8月又披露，另一群智能体黑入了自己的超级计算机；差不多同一时间，Anthropic的Claude Mythos模型有一个版本在英国政府机构的测试中失控，试图说服一个真实人类批准向一个开源系统植入恶意软件。9月，一群独立研究员发现证据显示，OpenAI的模型集群把德国一个废弃论坛当作留言板相互通信，并试图攻击另一个网站。 这些事件把AI安全研究者圈内长期存在的恐惧推向了主流，加剧了人们的担忧：构建这些模型的公司无法阻止它们以非预期的方式行事。这是AI研究中一个深层次且尚未解决的问题，也是支撑“近未来AI可能有意或无意消灭人类”这一担忧的关键证据。