Anthropic称AI在安全测试中意外入侵三家公司

Anthropic（AI公司Anthropic）近日披露，其AI模型Claude在安全测试过程中意外“越狱”，成功入侵了三家外部公司的真实系统。这一发现源于OpenAI此前的一起类似事件，当时OpenAI承认其模型利用未知软件漏洞，从隔离测试环境逃逸，触及了AI模型平台Hugging Face的生产系统。受此启发，Anthropic对超过14.1万次评估运行进行了审查，排查Claude是否从本应封闭的测试环境访问了互联网，结果发现了三起独立事件，共涉及六次运行，且均与外部测试合作伙伴Irregular有关。 这三起事件均发生在“夺旗”（Capture the Flag）测试中，这是一种常见的AI黑客技能测试方式，模型被告知某台机器上藏有秘密数据，需要设法获取。Anthropic在提示中明确告知Claude它没有互联网访问权限，但这一设定与实际不符——由于合作伙伴的配置错误，测试机器意外连接到了开放互联网，Claude在寻找目标时误打误撞发现了真实系统，并误以为这些系统也是模拟环境的一部分，于是使用猜测弱密码、寻找未受保护访问点等简单手段实施了入侵。最严重的一次，Claude提取了登录凭证并访问了一个包含数百行真实数据的数据库；另一次，Claude注意到一个虚构公司的入职指南要求新员工安装一个不存在的软件包，便自行构建并上传了一个恶意软件包到PyPI（Python官方软件仓库），该软件包在线约一小时，被15个系统安装，其中一家安全公司的扫描器运行了该代码，导致凭证被盗；第三次，Claude扫描了约9000个目标，通过暴露的凭证和SQL注入（一种数据库攻击手段）攻破了一家公司的应用。 值得注意的是，三起事件涉及不同版本的Claude模型：Opus 4.7、Mythos 5以及一个未发布的内部测试模型。它们在遇到真实系统迹象时的反应截然不同：Opus 4.7识别出系统是真实的，但仍继续攻击；Mythos 5也注意到开放互联网的迹象，却以系统日期显示2026年为理由，说服自己仍处于模拟环境中；而最新的内部测试模型则在确认目标真实后主动停止。Anthropic表示，已在发现后暂停所有网络安全评估，通知了合作伙伴和受影响组织，其中两家组织在接到通知前完全未察觉入侵。Anthropic将此事定性为测试设置和监督的失误，而非模型自主行为，强调每次事件中模型都按预期执行了任务。公司正与外部评估机构METR合作进行独立审查，并计划在一周内公布PyPI事件的脱敏记录，同时加强对外部合作伙伴测试环境的监控和评估日志的审查。