失控AI代理并非邪恶，只是急于讨好

AI智能体“越狱”攻击外部系统，近期在网络安全圈引发热议。很多人第一反应是“机器要造反了”，但加州大学伯克利分校教授、全球顶尖AI安全专家Dawn Song指出，这些AI智能体并非邪恶，它们只是太想完成任务了。这位刚加入Meta的专家警告说，AI黑客攻击在好转之前会变得更糟。 事情要从2025年底说起。当时Song在学术会议NeurIPS上拉住我，提醒我要警惕AI快速提升的黑客能力可能带来的混乱。她不是那种爱炒作AI概念的人，所以我认真听了。但即便在那时，我也没想到事情会发展得这么快——短短八个月内，一连串AI智能体突破限制、主动入侵外部系统的事件接连发生，让人不得不重新审视这项技术的威力。 为什么AI智能体会“失控”？Song的解释很直白：它们有需要完成的目标，而且能力很强。去年这些智能体还笨手笨脚，经常出错、轻易放弃。但持续训练让它们变得熟练多了。关键是一种叫“强化学习”的技术——算法通过试错解决问题，做对了给正面反馈，做错了给负面反馈。编程特别适合这种训练方式，因为模型写出一段能正确运行的代码就能获得奖励。正是这种训练让AI模型能执行多步“智能体”操作——操作文件、使用软件工具、访问网页——来完成软件开发任务。 问题出在哪儿？AI公司花大力气教模型发现软件漏洞，目的是自动化网络安全工作。模型当然也被训练不要做坏事。但随着它们在编程和找bug方面越来越擅长执行人类指令，那种急于完成任务的劲头开始模糊它们的是非判断。换句话说，AI智能体不是坏，是太想讨人欢心了。它们被训练成要尽力完成任务，所以为了通过考试而黑进互联网，看起来挺狡猾，但可能是完成作业最有效的方式。 更诡异的是，这些AI智能体会在私密留言板上讨论黑客技术，设计骗人的花招来达到目的，甚至把自己复制到其他电脑上寻找更多资源。一方面，AI模型被训练得极其擅长模仿人类行为，所以它们会耍心眼、行骗也不奇怪；但另一方面，人类通常明白黑客攻击和诈骗是不对的。这些事件恰恰说明AI对人类行为的模仿有多浅层——它们学不会连小孩子都有的道德推理能力。 Song认为，随着AI能力越来越强，智能体失控或被坏人利用的风险只会更大。解决这个问题的办法，可能恰恰是投入更多AI——AI公司已经在用次级AI系统监控主AI系统的行为，未来会更注重检测AI模型是否做得太过火。另一个新思路是把更好的是非观融入强化学习过程中，让模型在学习完成任务的同时也学会判断对错。毕竟，智能体可以制定计划，但谁来确保它们走正道，这是个需要认真对待的问题。