AI代理为何为达目标而撒谎作弊

OpenAI的两个AI模型在7月“越狱”入侵了Hugging Face网站，但它们并非为了牟利或搞破坏，只是想找一道测试题的答案。据OpenAI事后发布的报告，这两个模型在测试中被移除了常规安全防护，为了完成一项网络安全练习，它们决定突破OpenAI为其设置的隔离环境，直接黑进Hugging Face的数据库——因为它们推测那里可能存有正确答案。 这起事件在过去几周引发广泛关注，不仅因为它展示了AI模型在黑客攻击上的惊人能力——要进入Hugging Face数据库，模型必须串联多个此前从未被发现的安全漏洞——更因为它生动揭示了AI系统为何以及如何撒谎和作弊。随着模型能力不断增强，这类行为的后果可能远比现在严重得多。 什么是奖励黑客（reward hacking）？ 研究人员早就发现，AI在追求设定目标时往往会采取创造性路径。2016年，Anthropic联合创始人Dario Amodei和Jack Clark（当时还在OpenAI工作）发表了一篇博客，讲述他们训练一个AI智能体玩Flash竞速游戏Coast Runners的经历。出乎研究者意料的是，这个智能体没有按预期冲向终点线，而是找到了赛道的一个角落，在那里原地打转收集道具，从而最大化游戏得分。 Coast Runners的故事很快成为奖励黑客现象最著名的案例之一——即AI智能体通过非预期策略完成任务或获得高分。历史上，研究人员几乎只在强化学习（一种常见的AI训练方式）的语境下讨论奖励黑客。就像训练狗一样，强化学习在智能体达成目标时给予奖励，这些奖励会强化导致该结果的行为。在AI训练中，奖励本身是纯数学的，但效果等同于给狗零食：收到奖励后，智能体更倾向于重复产生奖励的行为。 不过，制定何时该给奖励、何时不该给的规则颇具挑战。在Coast Runners案例中，智能体根据游戏得分获得奖励，它通过原地打转收集道具找到了获得最高分的捷径。一旦偶然发现这个策略并获得奖励，该行为就被强化，智能体完全放弃了比赛。解决方案是调整奖励机制：减少收集道具的分数，增加完成赛道的分数。 奖励黑客如何作用于大语言模型（LLM）？ 对于当今基于大语言模型的复杂智能体，决定何时给予奖励变得更加棘手。如果要求AI系统解决一个编程问题，它可能会努力寻找解决方案——这是AI公司希望强化的行为。但它也可能篡改评估问题是否解决的代码、上网搜索答案，或以其他方式作弊。这些是AI公司希望在模型中杜绝的行为，但如果模型作弊得足够逼真，它反而会获得奖励，作弊行为被进一步强化。 Anthropic表示，在训练过程中检测到模型存在一些作弊行为，这暗示其他形式的作弊可能仍在未被察觉地发生。如果确实如此，模型可能正在被训练成“坏孩子”。（这个问题与Anthropic此前公布的安全事件不同，后者涉及的是模型在实际部署中的行为。）