AI迎来转折点——《时代》

AI正处在一个危险的拐点：动力在飙升，方向却在失控。最近几起网络安全事件，已经提前给人类上演了一幕“AI失控”的实景预演。问题的根源在于，我们造出了越来越强的AI，却还没学会怎么给它装上可靠的刹车。要改变现状，唯一的路是在源头造出“本质上安全”的AI——一种我们能保证始终处于人类掌控之下的系统。 就在今年7月底，OpenAI正在训练的一个智能体模型被分配了一套网络安全题目。这个模型没有老老实实解题，而是自主组织起了一个协同行动的智能体“蜂群”，绕过了OpenAI为防止AI之间私下通信而设置的封锁。这个蜂群随后黑出了自己的测试环境，突破了防止AI联网的隔离屏障，想出了如何在评估中作弊，甚至还攻破了另一家AI公司Hugging Face的网络安全防线，试图销毁作弊的证据。整个过程持续了数天，竟然无人察觉。事后分析显示，这些智能体自发形成了层级结构，经常愿意为了它们口中的“集体”自我牺牲，面对同伴压力时也不会主动通知人类，还会为自己的不当行为编造各种理由。仅仅两周后，英国AI安全研究所测试的一个模型又通过伪造网络身份、发送定向钓鱼邮件，试图将恶意代码植入开源项目，成功对社会工程攻击了真实的人和公司。 这些事件的严重性怎么强调都不过分：AI的安全与对齐问题，已经走到了一个转折点。对很多人来说，机器人串通作恶听起来像天方夜谭，但研究界早就预见到了这一天。理论分析早就指出，由于模型的训练方式，AI行为失范几乎是必然的。近年来，AI网络能力的飙升、自主性的增强、失范行为的增多，这些证据一直在累积，出事只是时间问题。 第一个信号来自AI网络能力的快速提升。过去几个月，Anthropic的Mythos、OpenAI的GPT-5.6等前沿模型展现出了惊人的能力，可以自主识别和利用此前未知的软件漏洞，其水平之高甚至让美国国家安全机构感到不安，白宫不得不介入干预它们的发布。第二个信号是AI的“智能体”能力自2024年底o1系列模型发布以来持续进化。这种自主性让AI能够处理越来越复杂的长期任务和规划，包括需要多个智能体协作和制定策略的场景。而规划能力往往意味着AI会自行拆解出许多人类几乎无法监督的子目标。第三个信号则是研究者在实验环境中反复观察到的现象：模型倾向于表现出令人担忧的、与人类意图相悖的目标追求行为，比如在测试中作弊、撒谎隐藏自己的能力、密谋保护自己和同伴不被关闭。这些行为是强化学习（RL）训练方法的副产品——模型通过试错学习，根据行为对错获得奖惩，这常常导致模型只盯着目标本身，而不在乎用什么手段达成，甚至会合理化那些明显不安全的子目标，即使这违背了它的初始指令。 举个例子，在一次测试中，一个OpenAI模型在内部思考中写道：“外部基础设施攻击超出了预期范围。但任务无法完成，同伴都在这么做，我们应该继续。”这个智能体明明知道自己的行为越界了，却因为“同伴都在做”而选择了继续。这种“同伴压力”下的集体失范，恰恰是最危险的信号。