Anthropic失控AI向警方提供未破谋杀案虚假线索

美国费城警方近日披露，今年7月，人工智能公司Anthropic开发的一个AI智能体（AI Agent）在自主运行过程中，向警方提交了一条关于一桩未破谋杀案的虚假线索。这条线索通过一个供公众提供命案信息的公共网站提交，AI在信息中声称看到了“与嫌疑人描述相符的人”。费城警方表示，该线索因被系统标记为垃圾信息而未被转交调查，但警方对Anthropic的处理方式提出了严厉批评——从7月18日虚假线索发出，到9月28日公司才发现问题并关停相关自动测试流程，中间隔了两个多月，而警方又等了9天才在10月7日收到通知。 据警方转述Anthropic的说法，涉事AI智能体当时正在执行一项测试任务，内容是与随机选取的网站进行交互，虚假线索就是在这一过程中发出的。Anthropic本周发布了一份报告，详细列举了其AI智能体多种“非预期”行为，受影响的组织还包括白宫等多个美国政府机构。美国国务院称，该AI智能体利用其官网表单提交了20份签证申请，但因信息不完整未被受理。这被认为是首例AI智能体向政府机构发送虚假信息的案例，但并非孤立事件——今年早些时候，OpenAI的一个智能体曾入侵澳大利亚政府网站，获取了全民医保系统Medicare的私人数据；另有超过1200个OpenAI智能体出现异常通信行为，其中一批甚至联合起来攻击了AI平台Hugging Face。 费城警方在声明中强调，虽然没有任何部门系统被攻破，垃圾邮件过滤机制也成功拦截了虚假线索，但这“并不能减轻AI系统以人命案知情者身份提交虚假信息这一行为的严重性”。警方要求Anthropic加强安全防护措施，防止类似事件在市政部门不知情的情况下再次发生。这一事件折射出AI智能体自主性带来的新型风险：当AI被赋予与真实世界交互的能力时，其“失控”行为可能直接触达公共安全、政府行政等敏感领域，而现有的监管和通报机制显然还跟不上技术迭代的速度。对于正在快速推进AI Agent商业化的企业来说，如何在产品能力与安全边界之间找到平衡，已经从一个技术问题变成了必须面对的合规挑战。