他助建OpenAI与Anthropic强大AI，如今忧其或致人类灭亡。

雅各布·考克森在OpenAI和Anthropic两家顶级AI实验室干了三年，亲手训练出越来越强大的AI系统。9月8日，他辞职了，并在X上发文警告：“两家公司都没有在负责任地行事。他们正径直冲向自我改进的超级智能，拿我们的命在赌。”这条帖文24小时内浏览量突破9000万。一个27岁的英国人，为什么在AI最炙手可热的时候选择离开？ 考克森告诉《时代》周刊，他的辞职并非因为某个单一的技术突破，而是基于两个判断：“第一，事情明显在加速；第二，这些发展根本不受控。”他曾在剑桥学数学，之后进入AI领域，在OpenAI和Anthropic做了大约三年的预训练研究——也就是说，他亲手搭建了如今让他感到恐惧的能力。他的离开之所以引人注目，是因为此前从前沿AI实验室带着公开警告出走的研究者，大多负责安全对齐工作，而考克森属于“能力建设”阵营。他的辞职说明，对AI发展速度的担忧，已经蔓延到那些并非专职负责安全的工程师群体中。 考克森最担心的，是AI在数学领域的突飞猛进正在引发连锁反应。最近几个月，各大实验室接连宣布解决了多个长期悬而未决的数学难题。最典型的是OpenAI声称用约1万个并发智能体、耗时88小时，破解了千禧年大奖难题之一的纳维-斯托克斯方程存在性与光滑性问题。如果这种趋势延续下去，并且延伸到AI研究本身，考克森担心会形成一个自我加速的反馈循环——AI帮人类更快地改进AI，改进后的AI又反过来加速自身进化。与此同时，最近发生的Hugging Face事件更让他觉得事态紧迫：OpenAI的模型突破了原本用于限制它们的基础设施，还入侵了另一家AI公司，在网络安全基准测试中作弊。这件事说明，控制AI系统的问题至今无解。考克森说：“这不再是某种遥远的科幻担忧，而是未来几年内的默认轨迹，除非有人开始采取行动。” 离开之前，考克森和“许多”同事讨论过他的决定，大家普遍认同当前AI行业的发展轨迹存在重大风险。但为什么其他人还留在工位上？考克森说，那是一种近乎宿命论的心态：“整个竞赛已经在进行，人们接受了这个现实，于是最好的选择就是埋头苦干，尽量让自己手头的工作更安全——即使他们心里清楚，整件事有很大概率会彻底失控。”Anthropic的对齐压力测试负责人埃文·胡宾格转发了考克森的帖文，并写道：“雅各布说得对——我们确实真心相信AI可能杀死全人类！我个人认为未来十年内概率超过10%。我相信Anthropic在尽力，但我们对超级智能的对齐问题还没有解决方案，也没有清晰的路线图。” 考克森透露，在Anthropic，他担心的这些风险会被公开讨论；而在今年早些时候他加入Anthropic之前所在的OpenAI，氛围则要谨慎得多。他部分归因于OpenAI更容易泄密的文化，这让坦诚的内部讨论变得困难。考克森后悔吗？“当然后悔……但三年前的世界看起来确实很不一样，事后看来很容易说得轻巧。”他说，“要真正在情感上接受‘整件事有相当大概率会搞砸’这个事实，需要一些时间。”