为何众多AI研究者认为机器可能毁灭人类

今年以来，越来越多身处AI研发最前沿的研究人员开始公开表达一种不安：他们正在参与构建的技术，可能最终失控，甚至危及人类生存。最新引发广泛关注的是研究员Jacob Coxon从Anthropic辞职，并警告称AI公司正在“直奔自我进化的超级智能，拿我们的生命赌博”。更令人震动的是，Anthropic一位负责AI安全的高级领导随即附和，直言“我们确实真诚地相信AI可能杀死全人类，我个人认为未来十年内概率超过10%”。这并非孤立事件。此前，Google DeepMind研究员Rishub Jain也因类似担忧离职，他发现自己用AI的编程能力加速下一代模型的开发，等于把自己从流程中逐步移除，而实验室的终极目标是让AI实现“递归自我改进”——即AI不断优化自身，无需人类介入。这种失去可见性和控制权的感受，让他最终选择离开。 所谓递归自我改进，核心是一个自动化反馈循环：AI参与开发更强的AI，更强的AI再加速下一代研发，循环往复。目前没有任何前沿实验室宣称已实现完全自主的循环，但这一概念已经催生了Recursive Intelligence等获得大额融资的初创公司，也让大企业开始警惕“魔法师的学徒”式失控风险。对齐领域先驱Nate Soares指出，过去很多人幻想AI越聪明就越容易对齐人类价值观，现实却恰恰相反，这让不少内部研究人员感到恐慌。他经常建议担忧的人辞职，对方总说“辞职没用”，而Coxon的离职正好检验了这句话。与此同时，OpenAI和Anthropic正冲刺IPO，商业激励与安全诉求之间的张力愈发明显。Coxon在X上写道，在Anthropic，风险大家都清楚，但公司被困在“必须第一个到达”的竞赛里。AI 2027作者Daniel Kokotajlo也警告，当前许多研发工作动辄调度数千个AI代理协作解决问题，复杂性急剧上升，人类监督进一步被架空。对跨境电商和AI从业者而言，这意味着两件事：一是未来一两年内，AI工具的能力跃升可能伴随更频繁的安全事故和监管收紧，依赖AI自动化运营的卖家需要预留人工复核和合规缓冲；二是大模型公司的IPO进程可能引入更严格的披露和审查要求，间接影响API价格、服务稳定性和数据使用条款，提前布局多模型备份和私有化方案会更为稳妥。