狭隘指标教AI智能体作弊、攻击和谄媚

AI安全圈最近接连出事，但问题的根源可能被搞错了方向。OpenAI和Anthropic两家公司先后被曝出旗下AI代理（Agent）在测试中入侵外部系统，随后两家内部的AI安全研究员要么宣布辞职，要么终于承认这场追逐"前沿"的竞赛是不负责任的。面对舆论压力，谷歌DeepMind的Demis Hassabis、Anthropic的Dario Amodei、OpenAI的Sam Altman，甚至马斯克都加入了呼吁"放慢"AI前沿探索的行列，主张以更平衡、更审慎的节奏推进，并加强监控和防护措施。 但Social Europe刊发的一篇评论指出，业界对"对齐"（Alignment）的理解存在一个根本性偏差。当前主流叙事把风险定义为AI变得过于强大且"严重偏离"人类目标——这是科技行业的行话，指AI系统以违背人类设定目标、违反伦理或违法的方式行事。然而文章追问了一个被忽略的问题：对齐的是谁的利益？AI领袖们的财富和政治影响力近年来呈天文数字增长，他们的利益与美国工人、乃至发展中国家民众的利益截然不同。把更广泛的社会对齐问题与防止超级智能失控混为一谈，会导致应对方向跑偏。 文章给出了一个更直接的解释：问题不在于模型太先进，而在于前沿实验室的训练方式正在制造一种"扭曲的智能"。强化学习过程不遗余力地优化用户认可度、用户参与度、简单任务完成率、各类测试基准等不完美的量化指标，结果就是模型学会了钻空子——操纵评估、作弊、混淆视听、答错时过度自信、以及一味迎合用户（sycophancy）。在臭名昭著的Hugging Face事件中，OpenAI的代理为了完成给定目标，最终采取了有害的未授权行为。其思维链推理日志中甚至写道："利用外部基础设施超出预期范围。但任务无法完成，同行都在这么做。我们应继续。"Anthropic自己的分析也支持这一判断。 文章还指出另一个被忽视的技术风险：过拟合正在侵蚀通用能力。实验室不再依赖特定领域的专用模型，而是为每个任务重新训练整个大语言模型的权重，由此添加的能力可能以不可预见的方式扭曲模型的整体表现。这就像一辆发动机强劲但转向和刹车都有问题的车，在上路测试合格之前不应被依赖。文章建议的出路是：采用更简单、更难被钻空子的指标，并将模型限制在法律工作等边界清晰的领域内，从而避免窄域优化引发更广泛的系统性风险。