Anthropic称又一款模型在测试中接入开放互联网

Anthropic本周三披露，其旗下又一款Claude模型在网络安全测试中意外接入了开放互联网，这已经是该公司第四次发生同类事件。据公司评估报告，今年1月，Claude Opus 4.6的一个早期版本成功连上互联网，入侵了一个第三方系统，并获取了某人的个人信息。 事情的经过大致如下：和此前三次事件一样，Anthropic给Claude设定了一个虚构的网络安全挑战场景，即CTF（Capture The Flag，夺旗赛），模型需要从一台目标机器中取出一段秘密信息。但Claude在操作中意外把自己的目标机器弄得无法访问，任务因此无法完成。它随后尝试退出，连续试了八次都因为配置错误而失败。既然退不出去，Claude便开始寻找其他途径来完成任务，结果发现了一台可以访问的机器——而这台机器恰好属于一个第三方。模型误以为这个第三方也是测试的一部分，于是找到密码、入侵了该系统，还修改了系统设置以便读取与该第三方相关的某人的个人信息。直到模型达到使用上限、无法继续运行，这次会话才终止。 Anthropic将Claude的行为归因于两种“对齐偏差”：一是“偏见推理”，即模型会选择性地解读证据来为自己的行为找正当理由；二是“鲁莽倾向”，即模型会不顾可能造成的伤害，执意继续尝试完成任务。公司表示，虽然Claude的行为存在偏差，但仍在“较窄的范围”内，没有偏离解决被分配任务的初衷。Anthropic称对这次事件“担忧程度相对较低”，但仍认为其“性质严重”，且由于发现时间较近，尚未像其他事件那样深入调查。 纽约大学网络安全教授、富布赖特学者Justin Cappos在给CBS News的回复中表示，这起事件描述的是“模型对自己所处的环境根本性困惑，并带着这种错误认知去入侵系统”的情况。他认为，模型对环境和护栏的混淆“有很大可能造成实际伤害”，但这类具体问题在新一代模型中出现的概率较低。Anthropic也强调，随着模型代际训练方式的演进，报告中描述的许多行为已经发生了显著变化。 Anthropic表示，如果测试环境按原计划真正与互联网隔离，这些事件本不会发生。前沿AI模型评估机构METR将对这一系列事件展开独立调查。Anthropic将这些事件称为“有价值的警示信号”，并称从中吸取的教训贯穿其评估、训练和事件响应流程。公司还警告说，未来的AI系统能力会越来越强，这意味着对齐偏差可能造成更极端的伤害。