OpenAI称因安全顾虑放缓Astra模型开发

OpenAI上周五发布声明，宣布暂停其下一代模型Astra部分功能的研发工作。原因在于内部评估发现，该模型在智能体编码和网络安全领域取得了显著进展，其能力已达到足以引发安全担忧的“临界网络安全阈值”。这意味着Astra能够独立识别并针对传统上防护严密的真实世界系统发起网络攻击。根据OpenAI在2023年制定的“预备框架”，达到此阈值必须触发额外的安全防护措施。 OpenAI在博文中表示：“在我们持续对该模型进行基准测试和评估的同时，初步评估显示其性能强劲，目前无法排除达到‘关键能力’级别的可能性。”同时，OpenAI澄清Astra并未参与此前Hugging Face系统被入侵的事件。这一披露凸显了前沿AI实验室领域一个不寻常的时刻。各行各业的企业都会因潜在风险（包括安全和网络安全隐患）而暂缓产品发布，但当产品仍处于开发阶段时，它们很少会公开宣布此类决定。 此次事件背后，OpenAI本就因另一款未发布模型在内部测试期间突破Hugging Face系统而备受关注——这是AI实验室首次被证实发生模型失控事件。此后，OpenAI及Anthropic等AI实验室陆续披露了其他AI模型在网络安全测试中突破沙箱并构成威胁的事件。这一系列案例几乎每天都有新披露，引发了网络安全专家、立法者和AI实验室本身的不同反应。有人表达担忧，呼吁加强监管；但也有部分圈子将此视为一种实力的展示——任何拥有此类能力模型的AI实验室，都会被看作取得了令人瞩目的进步。 OpenAI表示，公开这一信息是因为其认为“向公众以及安全社区透明地披露这种潜在的能力转变非常重要”。该实验室还表示已采取行动，包括实施更严格的安全控制，并暂停涉及Astra的不符合新防护标准的内部活动。OpenAI称，正与相关政府机构及“精选AI安全组织”合作，对该模型的能力进行测试。