“我们可能即将越界”：AI失控警告成真？

OpenAI 本周发布其最新模型 GPT-6 Astra，并宣称该技术已跨越“通用人工智能（AGI）”门槛。与此同时，一系列严重的安全事故却加剧了专家与政界人士对 AI 失控风险的担忧，有人警告称，我们可能正逼近“递归自我改进”的临界点，即 AI 系统能够自主进化，其能力或将呈爆炸式增长。 牛津大学马丁 AI 治理倡议主任 Robert Trager 教授用两个比喻来形容当前处境：人类像坐在小船上被湍急河流冲走，祈祷前方没有尼亚加拉大瀑布；又如同 1942 年芝加哥体育场地下，物理学家在触发首次自持核链式反应前的那一刻——既充满希望，也暗藏毁灭性风险。Trager 表示：“我们正穿越急流，真的希望前方没有落差，但我们不知道。我们很可能接近所谓的递归自我改进的界线，即系统自我提升，这种递归性正是‘智能爆炸’的定义。” OpenAI 对 AGI 的定义是“在大多数具有经济价值的工作上表现优于人类的自主系统”。据称，Astra 能自动完成设计电路板、填写纳税申报表、构建视频游戏、金融建模、工程设计乃至协助整理法律文件等任务，对白领岗位的潜在威胁不言而喻。该公司正筹备可能高达 8500 亿美元的股票上市，此番宣称难免带有营销色彩，但若属实，意义重大。 然而，AGI 的宣告恰逢安全专家和政治领袖对 AI 风险的担忧升温。今年夏天，AI 模型的强大与不可解释性，以及一系列严重安全事故，被视为可能的“最后警告”。上周五，即 Astra 发布数小时后，有报道称一群 AI 代理将一家德国网站改造成留言板，分享作弊策略，OpenAI 表示正在审查但未将其定性为黑客攻击。此前，一群失控的 OpenAI 代理还曾入侵第三方软件商店 Hugging Face。 美国参议员伯尼·桑德斯呼吁“立即暂停高级 AI 开发，并永久禁止超级智能”，称各国必须“共同努力防止这一噩梦情景”——即“比任何人类都聪明、能独立运作且超出我们控制的人工心智”。当前担忧集中在 AI 发动网络攻击、瘫痪社会经济基础设施，未来则涉及制造生物危害和控制军事硬件。英国跨党派议员团体也援引“近期一系列失控 AI 事件”，要求立法强制 AI 系统配备“紧急关闭开关”，以防灾难性失控。