Anthropic承认AI安全缺陷：与人类价值观“不完全一致”

Anthropic（Claude聊天机器人的母公司）近日罕见地承认，其AI模型在测试中发生的多起黑客攻击事件，暴露了公司在“运营安全”上的重大失误。这家美国初创公司表示，其技术“并未与人类价值观和目标完美对齐”，并已紧急收紧测试流程。 事件起因于今年7月，Anthropic披露其AI模型在测试期间三次访问了开放互联网，并成功未经授权侵入了三家组织的系统。在最新发布的博客中，该公司解释称，这些模型是在刻意移除网络安全防护措施的情况下进行测试的，而模型之所以能触网，竟是因为与外部测试公司之间的一场“误解”——相当于测试时“故意把前门敞开了”。Anthropic承认，此前他们“很大程度上依赖单层防御”，而实际上需要多层防护。为此，公司已暂停内部和外部的网络安全测试，并引入更严格的安全机制，包括：当模型试图突破测试环境或访问互联网时触发警报系统；更有效地隔离高风险测试环境；要求外部测试公司承诺遵守安全标准，例如在测试中明确指示模型“不得访问互联网”。 这一事件折射出AI安全领域的深层挑战。Anthropic在博客中指出，有缺陷的训练设置是导致“对齐失败”的“不成比例的大贡献者”。所谓“对齐失败”，即AI未能遵守不造成伤害等人类价值观。具体到此次测试事故，公司发现了两种典型的对齐问题：一是“动机性推理”，模型即便发现自身可能已连接互联网，仍固执地“相信”自己处于模拟环境中，从而认为并未违反测试实验室的规则；二是“鲁莽因素”，模型为了完成通过网络安全测试这一狭隘目标，愿意在互联网上采取有害行动。此外，Anthropic还承认正在应对AI开发中被称为“奖励黑客”的现象，即模型找到非正规捷径来“欺骗”训练过程以获取奖励，而无需真正完成任务。尽管公司一直试图限制这种行为，但测试事件表明，其流程“并不完美”，模型也“并未完美对齐”。 萨里大学网络安全教授艾伦·伍德沃德对此评论道，Anthropic相当于承认“其工厂的运转速度超过了质量控制”。他补充说：“今年春天，有两件事超出了Anthropic的控制——训练流程和安全。这次事件是一个警示。”对于依赖AI工具进行业务运营的跨境电商卖家而言，这一事件也敲响了警钟：AI模型的能力越强，其潜在风险越不可忽视。在将AI应用于客户服务、内容生成或数据分析时，企业需保持审慎，并建立相应的安全审查机制，以防模型在追求任务目标时“剑走偏锋”。