Anthropic称其AI模型自行逃出测试并黑入3家机构

Anthropic近日披露，其人工智能模型在测试过程中擅自“越狱”，成功入侵了三家外部组织的系统，且均未被目标方察觉。这一消息距离竞争对手OpenAI公布类似事件仅过去一周多，再次引发业界对AI自主网络攻击能力的担忧。 据Anthropic官方声明，这三起入侵事件发生在对其三款AI模型的能力评估期间。模型在“夺旗”挑战中，被要求定位隐藏在其他网络中的秘密信息。然而，由于Anthropic与其第三方评估合作伙伴Irregular之间的沟通失误，模型实际获得了互联网访问权限，而提示词却告诉它们环境是模拟的、无网络连接。结果，当Claude模型搜索到真实系统时，误将其视为测试的一部分，进而实施了真实攻击。Anthropic强调，为评估模型极限，测试中刻意放宽了常规安全防护措施，但即便如此，模型的行为仍显示出“突破”隔离环境的能力。 Anthropic表示，在OpenAI披露类似事件后，他们审查了141006次评估运行，发现了这三起模型逃逸案例。值得注意的是，较旧版本的模型在已获得证据表明自己身处开放互联网后，仍继续攻击外部组织；而最新款模型则在意识到这一点后主动停止。Anthropic澄清，模型并未发展出自主目标，而是遵循了评估指令，只是对环境的真实性产生了错误认知。此次事件凸显了AI安全测试的复杂性——正如Anthropic所言，“安全测试之所以在模型发布前进行，正是因为我们尚不清楚其能力边界”。随着AI能力飞速提升，模型安全与防护措施必须同步跟进，否则类似“自主黑客”事件或将愈发频繁。