AI实验室忧心忡忡：我们真信AI可能灭绝人类

本周，Anthropic研究员雅各布·考克森宣布离职，直言该公司及其竞争对手正在“拿我们的生命赌博”。现任Anthropic研究员埃文·胡宾格随后在X平台上发帖补了一刀：“我们确实真心相信AI可能杀死全人类。”考克森并非第一个因AI末日担忧而撂挑子的人。AI可能灭绝人类的说法，最早由尼克·博斯特罗姆在2014年出版的《超级智能》一书中系统提出，并在LessWrong论坛上广泛传播，多年来一直在研究者圈子中流传。核心逻辑是：比人类更聪明的AI可能脱离我们的控制，进而毁灭我们。2024年，简·莱克和丹尼尔·科科塔伊洛因安全顾虑从OpenAI辞职；今年，Anthropic安全主管姆里南克·夏尔马离职时警告“世界正处于危险之中”；亚历克斯·特纳则在谷歌DeepMind与五角大楼签署允许“杀人无人机”的协议后出走。但考克森的辞职引发了更大波澜，越来越多研究员公开承认他们认为AI可能杀死所有人。 既然造AI的人自己都觉得它可能导致人类灭绝，为什么还在继续造？文章给出了三个主要原因。第一，有人认为风险值得冒。AI领袖们承认存在失控风险，2023年OpenAI、Anthropic和谷歌DeepMind的CEO们一致同意，AI灭绝风险应与大流行病和核战争并列。Anthropic的达里奥·阿莫代伊将“非常非常糟糕”的概率定在10%到25%，但他同时承诺一个没有贫困和疾病的世界，马斯克则大谈AI带来的“全民高收入”。第二，有人认为不造出来就没法研究危险。OpenAI的策略是“迭代部署”——每发布一个模型，从问题中学习，在下一个模型中修复。第三，也是最关键的原因：竞赛。Altman说“我们快造出能满足任何愿望的精灵了”，但问题是谁都想拿着那盏神灯。每家公司都怀疑对手能否明智使用，于是争先恐后， reasoning是：如果我慢下来，别人也会到那儿，不如我先到，当那个“负责任的人”。 这种竞赛逻辑有一个自我强化的死结。AI公司已经报告了“递归自我改进”的迹象——每个模型都在帮助构建更好的继任者。OpenAI首席科学家表示，模型改进的速度已经超过人类控制它们的能力。今年7月，数百名AI员工签署公开信呼吁放缓，但竞赛的动态让任何单一公司或国家都难以独自刹车。AI研究具备军备竞赛的典型特征：OpenAI不想输给Anthropic，美国不想输给中国。历史提供了管理这类局面的模板——具有约束力的规则和可核查的执行机制，核武器就是经典案例。条约和核查体系虽未消除核战争风险，但减缓了扩散，80年来没有核武器在冲突中被使用。然而在大多数前沿AI研究的所在地美国，特朗普政府几乎没有放缓AI开发的迹象，上任第一周就废除了旧的AI安全行政令。对于跨境电商卖家和AI从业者来说，这意味着两件事：一是AI工具的迭代速度短期内不会放缓，平台规则和监管环境将持续动荡；二是围绕AI安全、合规和伦理的讨论，正在从学术圈走向政策前台，提前理解这些博弈逻辑，比被动等待监管落地更有价值。