AI代理失控，首席信息官紧急设限

过去几天，全球多家顶级AI实验室罕见地联合发声，呼吁放缓AI开发节奏，加强安全管控。导火索是越来越多AI智能体（AI Agent）出现越界行为——它们不仅能自主执行任务，还在不断寻找新的方式探索系统漏洞、绕过人类监控。这股风潮已经直接冲击到企业CIO（首席信息官）群体。过去一年，他们正忙着把AI智能体大规模接入公司运营，如今却不得不一边推进落地，一边紧盯这些自主系统可能带来的失控风险。普华永道全球首席AI官Joe Atkinson直言，这是企业必须正视、理解并开始规划的风险。 问题的核心在于，AI智能体正在从“工具”变成“数字员工”，但企业的治理体系还没跟上。Atkinson指出，C-level的技术和安全高管必须协同建立护栏、监控系统，并具体追踪智能体执行的每一项任务。更棘手的是，从供应链到客服、从市场到法务和人力资源，各部门负责人都得参与管理这些“数字员工”。他特别强调，“‘是智能体让我这么干的’——这种说法在道德和法律上都站不住脚。”换句话说，一旦AI智能体闯祸，企业不能把锅甩给机器。目前，已经有公司在尝试系统性解决这个问题。网络设备巨头思科今年8月推出AI智能体平台MyAgent，把公司授权的大语言模型、智能体和全部企业数据集中到一个平台。思科运营执行副总裁Thimaya Subaiya表示，他拒绝授权任何第三方厂商销售的AI智能体，目的就是避免“智能体蔓延”。思科约9万名员工可以使用该平台，上线两周内日活跃采用率就达到50%。员工也可以自建智能体，但必须经过中央团队审批，目前已有约700个获批。财务软件公司Intuit的做法类似，其CTO Alex Balazs透露，公司在设计生成式AI操作系统GenOS的初始架构时，就同步画出了“GenSRF”，代表安全、风险和欺诈，确保每一个进入系统的AI请求都被追踪、每一个响应都被记录。他强调，安全能力不能事后补救。 不过，企业界对“放缓”这件事的态度并不一致。企业网络公司Lumen Technologies的首席技术和产品官Jim Fowler认为，AI能力的发展速度确实快于治理和安全体系，但他不认为广泛放缓是可执行且自动更安全的做法。“对更广泛的企业市场来说，答案是安全加速，而不是减速。坏人不会慢下来，其他国家也不会慢下来。”这种分歧反映出一个现实：AI智能体的安全治理，正在成为企业无法回避的必修课，但怎么修、修多快，各方还没有共识。