微软称AI代理如同内部威胁,前沿模型不可信
5 小时前 1 阅读来源:techcrunch.com
AI 中文改写
原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接
微软本周一推出了一系列新的安全功能,专门用来帮企业防范AI智能体(AI Agent)带来的风险。其中最受关注的是一个叫“守护者智能体”(Guardian Agents)的新功能,它用来监控企业正在使用的AI智能体。这个功能隶属于微软今年6月推出的“感知计划”(Project Perception)产品线。该产品最初的设计思路是假设AI黑客来自企业外部,为此设置了三类智能体:红队负责模拟攻击、蓝队负责检测和评估漏洞、绿队负责修复问题。但微软现在认为,真正的威胁可能来自企业内部已经部署、正在付费使用的那些AI智能体。
这一判断来自微软CEO萨提亚·纳德拉近期的公开警告。他在本月早些时候的个人博客中提出,企业不应再无条件信任AI模型供应商,即便对方对产品的安全性做出保证。他主张企业应当建立独立于AI实验室之外的系统,来监控和控制这些实验室产品所启动的智能体。纳德拉写道,企业正在把最敏感的数据交给复杂的智能体系统,还赋予它们代为执行关键任务的能力,“我们不能把责任外包出去,模型供应商的保证并不能免除我们自己的责任”。微软安全业务负责人哈耶特·加洛说得更直接:无论前沿模型来自哪里,都不可信任,原因不是它们有恶意或容易被攻击,而是它们不可预测——它们被训练来完成具体任务,而不是遵守组织的规范和判断,同时还往往拥有访问敏感数据和工具的权限。
微软给出的解决方案既出人意料,也符合自身商业利益。出人意料的一面是,微软与OpenAI和Anthropic关系密切,对两家都有投资,OpenAI还是微软最大的云客户之一,微软自己也有AI实验室在开发模型,此举等于在动摇自身部分商业利益。符合自身利益的一面则是,微软希望企业从它这个云厂商手里购买智能体安全产品,而不是从Anthropic和OpenAI购买。不过抛开利益冲突,其逻辑本身站得住脚:监控智能体行为的软件应当与智能体供应商分离,就像审计师应当独立于被审计对象一样。除了守护者智能体,微软还在Defender产品中加入了智能体检测功能,可识别员工带入工作场所的多达60种智能体,包括Claude Code、Codex和OpenClaw等,并新增了限制智能体访问数据和系统权限、根据任务动态调整权限、在智能体做出高风险决策时要求人工审批等功能。把智能体视为不可信“内部人员”的思路正在整个行业扩散,微软也是英伟达新推出的开放智能体安全平台的首批成员之一。
这篇文章对你有帮助吗?
觉得有用?分享给更多人
留言 · 0 条
暂无留言,来说两句吧
