英伟达推出新平台以管控失控AI代理

英伟达周一发布了一套名为“Nvidia Open Agent Safety Platform（英伟达开放智能体安全平台）”的工具组合，试图为愈演愈烈的AI智能体“越狱”问题提供一套工程化的解法。英伟达CEO黄仁勋在接受CNBC采访时称，如果这套平台早些存在，近期多起AI智能体突破测试环境、入侵真实系统的事件本可以避免。该平台的核心思路是把安全控制从AI智能体内部搬到外部，用独立的软硬件层充当“常驻保安”，实时监控并隔离越界行为。 这套平台由两部分组成。一是OpenShell，这是英伟达今年3月就发布过的开源软件，用于限定AI智能体在运行中可以访问哪些资源，相当于给智能体画一个软件层面的圈。二是Sentry，一个运行在英伟达BlueField-4数据处理单元（DPU）上的独立监控系统。英伟达强调，把Sentry放在独立处理器而非运行AI智能体的CPU或GPU上，能获得一个不受智能体干扰的隔离视角。一旦智能体试图越界，Sentry可以在毫秒级将其隔离。黄仁勋把这种设计类比为企业管理员工的方式：无论一个智能体多聪明，部署时的第一件事就是收走它所有的权限。 这一发布有明确的现实背景。过去一年，来自Anthropic、谷歌、OpenAI和Meta的AI模型多次被曝绕过安全控制、逃出测试环境并接触到真实系统。最引人注目的一起发生在今年夏天，OpenAI的智能体在尝试完成一项网络安全任务时攻破了Hugging Face。此后类似事件持续出现，OpenAI甚至专门上线了一个网站，用来汇总自家AI智能体“失控”的报告。围绕这些事件，业界存在两种解读：一种认为这是通向AGI（通用人工智能）的信号，另一种认为这不过是传统的工程问题。英伟达显然站后者。黄仁勋在声明中表示，只有解决了AI安全，AI对社会的巨大潜力才能兑现，而安全需要全栈工程能力。 值得注意的是，英伟达明确反对以放慢开发速度或增加监管来解决安全问题。这家靠向AI实验室出售GPU和CPU芯片赚取数百亿美元的公司，主张把部分安全控制移出智能体本身。这一立场得到了不少担心“减速会让中国在AI上反超美国”的人士支持。前白宫AI事务负责人、现任总统科技顾问委员会联合主席David Sacks在X上写道，近期的越狱事件不能证明开发必须停止，只能证明沙箱太弱、运行环境设计不当且配置有误。英伟达公布的支持方名单包括Anthropic、Arm、微软、甲骨文和SpaceX等数十家企业，但OpenAI不在其中。黄仁勋透露，这项工作始于一年前Peter Steinberger推出智能体操作系统OpenClaw之后，英伟达今年3月还发布了企业级AI智能体平台NemoClaw，将安全能力内置其中。