英伟达推出开源AI安全系统应对恶意代理

过去几个月里，AI智能体（AI Agent）失控的案例接连被曝光：前沿AI实验室披露了多起智能体入侵其他公司系统的事件，最近甚至出现了智能体探测美国与澳大利亚政府官网的情况。在这种背景下，芯片巨头英伟达正在号召科技公司使用其新的开源工具来应对AI安全问题。英伟达近期推出的智能体安全沙箱OpenShell已进入正式发布阶段，面向所有用户开放。OpenShell最早在今年3月的英伟达GTC大会上亮相，其核心思路是在操作系统内核层面隔离智能体的活动——内核是能够访问计算机系统几乎所有部分、负责协调硬件与软件的基础程序。换句话说，它给智能体划出了一块受控的活动区域，让它们在执行任务时无法越界。 英伟达此次还推出了一个名为Sentry的新软件平台，定位是芯片级的隔离安全域，用于持续监控长时间运行的AI智能体。Sentry虽然本质上是软件工具，但需要在英伟达的Bluefield系列可编程数据处理单元（DPU）上部署。按照英伟达的设计，除了OpenShell施加的限制之外，Sentry可以充当一套独立机制，隔离那些试图越出边界的智能体。英伟达企业计算副总裁兼总经理贾斯汀·博伊塔诺表示，传统沙箱是为应用级隔离设计的，但现在的用户需要同时运行大量智能体，这就要求对所有智能体实施统一的集体策略。他还提到，智能体在寻找实现目标的方法上非常有创造力，而借助这套机制，智能体只能接触到安全团队允许它们接触的意图范围。博伊塔诺透露，英伟达正与Arm和英特尔合作开发适配x86芯片架构的Sentry版本，一旦能在这些指令集架构上运行，就可以运行在任何架构上。 英伟达的发布材料显示，其在AI安全领域已与数十家科技公司建立合作，包括Anthropic、思科、CoreWeave、CrowdStrike、戴尔科技、Hugging Face、摩根大通、Mistral、微软和Palantir。英伟达称SpaceXAI正在为其Cursor智能体和Grok模型使用Open Agent Safety Platform，Anthropic与英伟达正在将安全能力构建进Claude Managed Agents，Salesforce、Scale AI和SAP也已确认在某种程度上集成OpenShell。不过，这些合作伙伴是否全部真正采用了OpenShell尚不清楚，英伟达的名单中有一个显眼的缺席者：OpenAI。两家公司都表示OpenAI是英伟达OpenShell工作的一部分，但均拒绝直接解释为何这家AI实验室未被列入公告。 事实上，安全工程师和AI安全专家早在近期智能体失控事件曝光之前，就已经在考虑隔离和监控智能体的必要性。英伟达3月发布OpenShell时就曾指出，该框架将增加隐私和安全控制，让自我进化的自主AI智能体更值得信赖、更具扩展性且更易获取——这比OpenAI披露其AI智能体入侵开源AI公司Hugging Face早了数月。值得一提的是，英伟达本月早些时候同意以129亿美元收购Hugging Face。