AI评分 一般 (50)AI 中文改写
企业AI的真正风险不在自主代理,而在其间的复杂性。
1 天前 1 阅读来源:VentureBeat AI
AI 中文改写
原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接
企业AI真正的风险不在自主智能体本身,而在于它们之间那团剪不断理还乱的复杂关系。眼下,不少企业正被这种“隐性复杂度”悄悄拖垮——它们部署的不是一个智能体,而是一整支“智能体军团”,每个都在调用API、互相通信、伸进那些压根没为机器决策者设计过的老系统里。真正让人夜不能寐的,不是某个智能体失控,而是整个系统盘根错节,没人能看清全貌,更别提有效治理了。
为什么局面会这么快变得一团糟?答案藏在连接数里。系统里加第二个智能体,只是多了一条连接;但加到第十个时,潜在连接数可能已经飙到几十条——因为任何一个智能体都可能调用其他任何一个,而每次调用又会触发下一轮调用。复杂度不是随着智能体数量线性增长的,而是随着它们之间的路径数量指数级膨胀,偏偏没人专门负责画这张关系图。举个实际例子:以前一张客服工单可能只经过一个系统,现在可能要穿过四个智能体才轮到人工介入,而每一次交接都是一个没人审批过的决策点。大多数企业AI项目卡壳,往往就是负责这些智能体的人自己先迷失了方向。你问安全团队一个简单问题:哪些智能体能访问哪些系统?回答你的多半是沉默。再问三跳之前是哪个智能体触发了哪个下游动作?沉默得更久。
问题的根源在于治理基础设施完全没跟上智能体的真实行为方式——互联、级联、繁殖速度快到追踪流程根本追不上。最先崩的是权限。有人为了做个客服工单摘要智能体,图省事直接给了它宽泛的API访问权限,因为精细划分权限还得再花一个迭代周期,然后就抛之脑后。六个月后,这个智能体居然摸到了支付系统的入口,没人记得谁批准过——事实上根本没人批过。链条越长,所有权就越稀薄。五个智能体协作处理一个工作流,第四步出了岔子,你问谁该负责?结果发现这个环节压根没指派过负责人,因为组织架构图到“部署智能体”就画完了,从没走到“指定一个人类来担责”这一步。
要收拾这堆烂摊子,第一步是身份管理。每个智能体都必须是独立实体,不能顶着部署者的影子权限到处跑——要有自己的注册名、自己的权限范围、一个有名有姓的人类负责人为它的行为兜底。但这一步只是必要条件,远非充分条件。更难的是贯穿整条链路的监督,而不只是盯着每个孤立环节。你得实时看到智能体做了什么、触发了哪些下游动作、这条轨迹最终通向哪里——而不是等季度报告才后知后觉。光把智能体身份管好就收手,结果只会得到一柜子记录完美、但系统本身没人能说清的智能体。而且监督只能告诉你已经发生的事,看着链条运行和控制链条完全是两码事。大多数项目跳过的是执行控制——在违规调用发生之前就拦下来,而不是记一笔日志等三周后复盘时才发现。一个能显示智能体五分钟前越权的仪表盘,那叫监控工具;能在违规发生前就阻止的系统,才叫治理。真想对智能体问责的企业,这两样都得有,但多数只建了前者。
这篇文章对你有帮助吗?
觉得有用?分享给更多人
留言 · 0 条
暂无留言,来说两句吧
