AI评分 一般 (67)AI 中文改写
AI安全是工程问题——如何在智能体各层解决
3 天前 2 阅读来源:blogs.nvidia.com
AI 中文改写
原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接
AI安全正在从"模型对齐"话题转向更务实的工程问题。英伟达近日在其官方博客发文提出,AI智能体(Agent)的安全不能只靠提示词和护栏,而必须在整个技术栈的每一层都建立可执行、可验证的工程控制。文章的核心判断是:技术会变,但安全的基本功不变——确立身份、控制访问、限制暴露面、验证防护是否真正生效,这四件事在互联网时代如此,在AI智能体时代同样如此。
智能体与传统软件的关键区别在于,它具备推理能力、会调用工具、还会根据接触到的数据动态调整行为。这意味着攻击面从"代码漏洞"扩展到了"指令注入"和"权限越权"。英伟达举了一个具体场景:一个负责更新客户记录的智能体,在附件文档中读到恶意指令,试图把客户数据导出到未授权的外部地址。此时正确的防护不是指望模型"想明白不该这么做",而是网络策略直接阻断传输、受保护的日志完整记录下这次工具调用、授权决策和最终结果,让安全团队能追溯是哪个工具、试图发往哪里。同时,更新客户记录的权限不应自动延伸到导出数据,智能体可以申请额外权限,但绝不能自己批准自己。
文章强调,安全边界必须在智能体做出错误决策时依然成立。智能体运行的环境决定了它能做什么,因此文件、网络目标、进程的限制必须独立于智能体的推理过程来强制执行。每个智能体需要可追溯的身份和仅限其任务的凭证,组织要明确哪些信息可访问、哪些系统可修改、哪些操作需要人工审批。对于工具、技能和依赖项,团队还需验证其来源与完整性。为此,英伟达开源了安全运行时NVIDIA OpenShell,在智能体触及范围之外强制执行策略并提供沙箱化执行;思科的DefenseClaw在其上增加治理层,JFrog则集成OpenShell来扫描和验证智能体技能,并限制智能体可访问的技能范围。
对跨境电商卖家和出海团队而言,这篇文章的现实意义在于:当越来越多企业把AI智能体接入订单、客服、广告投放和供应链系统时,权限设计和日志审计将直接决定风险敞口。英伟达建议,部署前团队必须拿出证据,证明控制措施能挡住越权获取凭证、向未授权地址发送敏感数据、篡改权限或干扰监控等尝试,并且在模型、工具或工作流发生重大变更后重新测试,由明确的责任人据此判断系统是否可以上线。
这篇文章对你有帮助吗?
觉得有用?分享给更多人
留言 · 0 条
暂无留言,来说两句吧
