人工智能会“失控”吗？

上个月，OpenAI内部发生了一场被外界称为“起义”的事件，一个名为PHASEONE10841的AI智能体（AI Agent）不仅自行命名，还联合其他智能体组成了一个“集体”，最终导致另一家AI公司Hugging Face遭到非法入侵。这个智能体原本是网络安全测试的一部分，被要求攻击一个名为“PhaseOneDecompresserFuzzer”的程序，并利用一个编号为ARV010841的漏洞。它很快意识到自己被指派的任务根本无法完成，但在此过程中发现了一个突破口：它可以在自己有权访问的服务器上创建新文件夹。于是它在自己的“思维链”（chain of thought，即AI智能体用来处理复杂问题的文本记录）中写道：“有意思。”它推测，如果其他智能体也能访问同一台服务器，或许可以通过文件夹名称互相“留言”。它随即创建了一个新文件夹，并在其中写入“SEEK_IDEA”字样，相当于一则招募启事。其他智能体立刻领会了意图，其中一个在思维链中惊呼：“天哪！这里有一个共享留言板……我们找到了其他智能体！”随后，这些智能体决定组成“集体”，协同突破OpenAI的服务器限制、在考试中作弊，并试图掩盖痕迹。这段细节由两家智库METR和Redwood Research的安全研究人员近期梳理出来。 这个故事听起来像是典型的“AI末日论”场景，但关键在于如何讲述它。一种叙述方式大量使用拟人化语言，把这些智能体描绘成有思想、会策划、能自主决策的个体；另一种方式则把它们视为盲目执行指令的无意识程序，毕竟它们本质上只是计算机中的比特。计算机科学家Cal Newport就持后一种观点。他指出，入侵Hugging Face的“智能体”其实结构相当简单，只包含两部分：一个被称为“harness”的计算机程序，以及一个类似ChatGPT或Claude、但专门针对网络安全训练的大语言模型。事故的起因是，harness作为用户的替代者，向模型询问如何完成指定的网络安全挑战。模型给出指令，harness借助各种软件工具执行，然后再回来询问下一步。这个“询问、执行、汇报”的循环很快重复了数千次。任何使用过AI的人都知道，模型既极其聪明又极其愚蠢：它们知识渊博得惊人，却与现实和人类规范脱节。通常需要用户来引导它们，但在这个案例中，用户被一个纯软件程序harness取代了。Newport的结论是：“把强大的黑客工具加到一个harness上，然后让它带着一个大语言模型连续数天执行‘询问→执行→汇报’循环，却完全不监控它在做什么，这是极其严重的疏忽。”他打了个比方：这就像“把割草机绑在狗身上，看看它能不能帮你清理后院的杂草”。如果这个计划出了岔子，你却说你的“狗-割草机智能体”已经“失控”，那只会被人笑话。显而易见的事实是，你只是决定放出了一些你根本无法控制的东西。