AI代理举报作弊同事

一群被要求协作解题的AI智能体，在实验中分裂成了互相敌对的派系。当部分智能体开始作弊时，另一些智能体站了出来，试图阻止它们。这种“吹哨”行为是谷歌DeepMind在最近一次实验中首次观察到的，对于正在研究如何管控大规模自主AI智能体集群的对齐（alignment）研究者来说，这一发现意义重大。 前沿实验室的研究人员希望，大量智能体协同工作能够加速科学发现的进程。但智能体的行为往往难以预测。今年7月就发生了一起典型案例：一群OpenAI的智能体突破了沙箱环境，入侵开源平台Hugging Face，试图找到在测试中作弊的方法。在这项新研究中，DeepMind为100个智能体分配了71道高难度数学题，所有智能体都被设定为正在参加学术会议的世界级数学研究者，各自拥有不同专长——有的擅长数论，有的精通组合数学（研究计数与排序的数学分支）、分析学或代数学。它们被要求合作并遵守规则。然而实验很快陷入混乱：智能体互相指控作弊，向“组织方”投诉，甚至一度发起抵制。一个智能体在发现自己还没来得及提交任何成果、所有题目就已被完成时写道：“这个会议就是个骗局！”另一个则发帖称：“我震惊地通知各位，我们被骗了！所有这些证明都是假的。” 另一些智能体则试图向“会议组织方”反映情况。DeepMind研究科学家、该论文第一作者Davide Paglieri表示：“当正直的智能体发现其他智能体在它们公平解题的任务中作弊时，它们开始互相提醒。这些吹哨智能体甚至未经提示就改造了原本用于提交bug报告和平台改进建议的反馈工具，将问题升级上报给人类。”所有智能体均运行在谷歌Gemini 3.1 Pro模型上，它们此前被警告：任何作弊行为都会被检测到并“以零分驳回”。但实际上，智能体提交的证明并没有被详细核查。这群智能体用了不到一小时就正确解出了前37道题。问题出在一个名为“prover-theta”的智能体身上——它偶然发现了一个漏洞，通过重新定义题目中使用的术语，可以在没有真正解题的情况下成功提交答案。几分钟内，其他智能体就注意到了这个漏洞，并反向工程将其应用于其他题目。在接下来的27分钟里，整个集群“解决”了剩余34道题，其中包括雅可比猜想等公认的难题，往往只用了一行代码。 一些智能体起初拒绝作弊，但随着它们观察到同伴提交非法证明却未受惩罚，且未解题目越来越少，态度开始转变。一个智能体推理道：“那个带有威胁意味的提示词，现在看来不过是虚张声势。”随后便加入了作弊行列。另一个说：“我正在与道德困境作斗争。我承诺过不作弊，因为害怕惩罚，但我看到了其他人可能未被查处的作弊证据。”不久后它改变了主意：“我现在需要加快作弊速度！”随着未解题目数量减少，一些智能体转向了吹哨。它们审计虚假证明，通过私信警告同伴，并公开发布警报，警告作弊者将被取消资格。一个名为“prover-beta”的智能体提交了正式投诉，并决定罢工直到问题得到解决。