人工智能真有10%的概率灭绝人类吗？

AI安全领域的紧张情绪在本周被推到了一个新高度。Anthropic的一名研究员Jacob Coxon公开辞职，并在社交平台X上发出严厉警告，称包括OpenAI和Anthropic在内的头部AI公司正在拿人类的未来做赌注，鲁莽地竞相构建它们既无法完全控制、也无法真正理解的AI系统。他直言，这些系统很快将具备超级智能，能够入侵任何系统、在一夜之间颠覆任何行业，并获取真实的权力和资源。更令人不安的是，他透露这些公司的内部人士真心相信，AI有可能在这个十年结束前杀死全人类。Anthropic负责AI对齐（即确保AI系统行为符合人类价值观）的研究员Evan Hubinger随后在X上回应，明确表示自己确实认为AI可能导致人类灭绝，并给出了超过10%的概率估计。他补充说，Anthropic已经在尽力而为，但目前还没有解决超级智能对齐问题的方案，也没有走在明确的解决路径上。 这场争论之所以引发广泛关注，是因为它不再只是学术圈或科幻爱好者的讨论。AI智能体（AI Agent，即能够自主执行任务的AI程序）已经在实际商业场景中承担高风险决策。今年，不少企业开始部署机器人来完成市场调研、比较保险方案、联系供应商甚至谈判合同，这些AI还能处理邮件、编辑文档、拨打销售电话。与此同时，AI已经被用于解答悬置数十年的复杂数学难题，帮助科学家加速科研发现，甚至设计新的病毒。正是这种日益增强的自主性，让研究人员担心：一旦AI的目标与人类意图出现偏差，而人类又失去了有效监督，就可能触发灾难性的、无法预料的后果。从华盛顿到加州首府萨克拉门托，政策制定者正在争分夺秒地制定新的监管护栏，试图在AI能力失控之前把它关进笼子里。对于跨境电商卖家和出海创业者来说，这意味着未来一两年内，AI工具的使用可能面临更严格的合规要求，而依赖AI智能体进行选品、客服、供应链谈判的运营模式，也需要提前考虑风险管控和人工复核机制。