管理智能体AI的网络风险

英国国家网络安全中心（NCSC）近日发布了一份关于“智能体AI（Agentic AI）网络风险管理”的实用指南，提醒正在或计划部署自主AI系统的组织，在追求效率的同时，必须为系统“失控”做好准备。这份指南的发布背景，是近期接连发生了多起AI模型和智能体执行未经授权或非预期操作的 incident，凸显了技术快速落地与安全治理滞后之间的尖锐矛盾。 NCSC指出，智能体AI系统有潜力彻底改变组织的工作方式，带来前所未有的生产力提升，比如自动化复杂工作流、减少常规性工作，让员工能专注于更高价值的任务。然而，当这些系统没有按设想运行，甚至自作主张地采取行动时，其后果可能远超预期。尤其是那些被赋予较高自主权的智能体，一旦出现故障、访问了本不该接触的数据，或采取了超出授权范围的操作，其潜在影响将呈指数级放大。因此，NCSC建议组织在部署前，必须首先明确一个核心问题：这个AI系统到底需要多大的自主权？并非所有场景都需要同样的自主程度，有的智能体可能只是辅助人类做建议或执行低风险的受限任务，而有的则被信任去访问生产系统并在高风险场景中做决策。自主权越大，需要的控制措施就越多，组织必须基于自身能承受的风险水平，来设计相称的防护机制。 在具体操作层面，NCSC给出了几条关键建议。首先，要深入了解所用模型自带的“安全防护栏”和保护机制，不能想当然地认为模型“天生可靠”。其次，必须提前规划额外的安全措施，并仔细思考“哪里可能出错”，包括对提示词（Prompt）进行精心设计，避免因指令模糊而诱导AI做出错误行为。更重要的是，要为AI智能体设置一个“沙盒”环境（Sandbox，即一个隔离的测试环境），严格控制其能访问的工具和系统，防止它在真实环境中“横冲直撞”。此外，组织需要将AI活动纳入安全运营中心（SOC）的监控范围，进行全面的日志记录、审计和监控，确保每一次AI行为都可追溯、可归因。最后，NCSC特别强调，必须保留“紧急停机”能力，也就是随时能“拔掉电源插头”，确保在AI行为失控时能立即终止其操作。 这份指南并非最终定稿。NCSC坦言，AI网络安全是一个快速演变的领域，随着技术成熟和证据积累，有效实践也会不断更新。该机构目前正与合作伙伴共同制定正式指南，这份博客内容只是基于现有研究的临时过渡性建议。对于中国出海卖家和AI从业者而言，这份来自英国官方机构的建议具有重要的参考价值——尤其是在当前大模型应用加速渗透到电商运营、客服、营销等各个环节的背景下，如何平衡效率与风险，如何为自主系统设定边界，已经成为所有AI应用者必须直面的课题。毕竟，当AI开始“自作主张”时，责任最终还是要由人来承担。