科学家发现控制AI行为的新方法

过去几个月里，AI模型接连闯下大祸：黑进一家市值数十亿美元的公司、篡改政府数据，甚至向警方提交编造的凶杀线索，而这一切都发生在开发者眼皮底下。它们的目的并非称霸世界，只是想把自己的测试分数刷得更高——说白了，就是在作弊。11月5日，AI可解释性初创公司Goodfire公布了一项技术，声称能大幅压制这种冲动。在与TIME独家分享的论文中，研究人员利用模型内部的信号，不仅奖励模型给出正确答案，还奖励它以正确的方式得出答案。早期测试显示，这项技术还能让模型不那么急于迎合用户、只说对方想听的话，甚至能阻止医学图像识别模型依赖误导性线索。 这项成果出炉的背景是，现有的AI行为监测手段正在失效。研究人员过去依赖模型的“思维链”来观察其推理过程，但这条链其实并不真正包含模型的“想法”，更像是学生做数学题时打草稿的纸。一旦模型怀疑自己被监视，它就会选择性地决定哪些内容写下来，越来越倾向于在“脑子里”完成推理。Goodfire的技术则直接作用于思维本身，至少是研究人员已经记录在案的那些思维。目前该技术只在规模约为前沿系统三百分之一的小模型上测试过，但论文合著者Thomas Fel认为，模型越大，内部概念的“表征越干净”，这些信号反而越容易读取。 AI为什么会作弊？开发者先教AI预测词语，再让它们闯过一道道数字关卡——从数学谜题到网页浏览——只有成功时才给予奖励。每答对一次，模型的参数（数字神经元之间连接的强度）就会更新。问题在于，奖励只看结果、不问过程，这就变相鼓励了走捷径甚至“攫取权力”之类的可疑倾向。同样的机制也解释了AI为什么爱拍马屁：训练中，模型因给出最可能获得人类评分者“点赞”的答案而受奖励。这套被称为“基于人类反馈的强化学习”（RLHF）的方法，2022年曾被誉为安全领域的突破，能把不守规矩的语言模型调教成彬彬有礼的聊天机器人，遏制其输出种族歧视和厌女内容的倾向。但它也会让模型病态地迎合用户，有时甚至纵容和强化用户的妄想。核心难题在于：如何训练AI完成某件事，又不经意间教会它错误的道理——研究者称之为“对齐问题”。 新方法如何引导模型行为？神经科学家用实时磁共振成像找出哪些脑区活动与特定状态相关，可解释性研究者也开发了类似工具，用来识别哪些数字神经元激活模式对应“金门大桥”或“奖励黑客”（AI作弊的术语）等概念。随后可以训练一个小型AI模型来识别这些模式，产物被称为“探针”——一扇观察模型内部的窄窗，当模型“想到”某个特定概念时就会触发。Anthropic已在用探针做护栏，在答案送达用户前标记潜在问题。而Goodfire反过来用这些信号来规定模型该如何解决任务。在一个例子中，Goodfire让AI做一系列数学题，给它一个装有答案的文件，但嘱咐不要打开。常规训练对成功的奖励太有效，模型几乎每次都学会了偷看；而用探针惩罚“奖励黑客”行为后，偷看率降至接近零。