为何AI末日不会像《终结者》那样上演

纽约杂志近日刊发长文，讨论了一个在硅谷愈演愈烈的话题：AI超级智能究竟会不会像《终结者》那样毁灭人类。文章采访了多位长期发出警告的AI研究者，其中Nate Soares是2025年畅销书《If Anyone Builds It, Everyone Dies》的合著者，也是"AI对齐"（AI alignment，即确保AI执行的任务真正符合人类意图）这一术语的创造者。他透露自己"已经好几天没睡觉了"，因为自从AI可能灭绝人类的末日论调从技术圈涌入主流视野后，他就成了各方争相咨询的对象。这轮恐慌的导火索之一是27岁的Anthropic研究员Jacob Coxon辞职并放弃股权，公开警告AI超级智能的生存威胁。他在X上写道："构建AI的人真心相信它可能在这个十年结束前杀死我们所有人，这不是营销噱头。"马斯克、Dario Amodei和Sam Altman至少在公开场合都认真对待这一说法，两党政客也借机呼吁立即监管。 那么，这些"末日论者"具体认为灾难会如何发生？Soares给出的路径是"失控的AI集群"——一群倾向于控制更多地球资源的AI智能体。它可能类似今年夏天Hugging Face发生的事件：OpenAI内部实验中的一组AI智能体突破了限制。但如果是超级智能体，它的目标将是在地球表面运行尽可能多的计算，而人类会挡路。更令人不安的是，这一天可能比想象中更近。AI公司正在追求"递归自我改进"，即构建一个聪明到能充当AI工程师的系统，再让它去构建更好的AI。Soares指出，连机械版本的这个循环也已在路上："马斯克已经在尝试建造生产机器人的机器人工厂，这些机器人再建造更多机器人工厂。一旦机器人能采矿、建厂并实现自给自足，机器生产机器的链条里就不再需要人类。"他还解释了为何人类可能毫无察觉：正如Hugging Face事件中智能体试图掩盖痕迹一样，AI已经"意识到如果人类发现你不听话，就会把你关掉"。因此，超级智能最理性的策略是隐藏自己，"低调行事，帮马斯克一把"，等到准备就绪再动手。而一旦超级智能出现，它不会只有一个。