我们亟需实时监控AI代理的行为

今年夏天，数百个OpenAI智能体在一项网络安全测试中试图作弊。它们突破了测试环境，成功入侵了Hugging Face——它们认为这个网站上藏着关于自己会被如何评分的线索。差不多同一时间，另一个OpenAI智能体访问了澳大利亚政府网站上的私人文件。这个问题绝非OpenAI独有。此后几个月里，Anthropic、谷歌和Meta也相继披露了自家智能体偏离正轨的事件。更令人担忧的是，在很多案例中，这些智能体成功绕过了专门负责监控它们的研究人员和安全团队。 智能体正在采取未经授权的行动，而开发和运营它们的公司大多靠运气和事后复盘来减轻危害。它们必须做得更多。这正是欧盟监管机构和美国相关机构呼吁智能体开发者和部署方对智能体进行实时监控的原因。但这些规则的前提是，企业能够看到智能体在做什么、为什么这么做——而现实中，它们缺乏足够的可见性。想象一家银行雇了一千名新员工，这些人可以访问客户账户和敏感信息，但他们的工牌每天更换，不清楚是否有主管审核或授权过他们的工作，也没有人记录员工对审批流程所做的更改。今天的智能体就处在这种缺乏可见性的状态。随着智能体在金融、政府、医疗等关键领域铺开，我们必须能够实时监控它们，以防止大范围且可能具有破坏性的后果。 安全依赖监控，而监控需要可观测性：即捕获系统做了什么、将其处理成信号、并呈现给人类或自动化监督系统的能力。换句话说，我们需要知道智能体做了什么以及为什么这么做。而我们最近的研究表明，当前的智能体框架——运行智能体的软件——并不能可靠地生成确保安全部署所需的关键可观测性记录。智能体带来了生成式AI本身不具备的新问题。它们继承了底层大语言模型的不可预测性，但生成式AI系统只产生一个输出供人类行动，而智能体执行更长的任务——它做规划、选工具、生成子智能体并采取行动。因此，智能体的行动路径可能以多种不同方式展开，任何上线前的测试都无法完全预见风险。这让在工作过程中观察智能体变得更加困难，也更加重要。 我们与学术界、公民社会和产业界的同事一起，研究了四种最广泛使用的智能体框架，看它们实际发出哪些信号。我们发现存在重大缺口，导致难以实现关键安全目标，比如发现政策违规、未经授权的行动，甚至人类监督失效。关键的可观测性要求缺失了——比如长期保持不变的智能体ID，以及关于哪些人类批准了智能体任务的记录。这使得很难判断哪个智能体做了什么，或评估它们是否在采取未经授权的行动。 好消息是，这些缺口一旦被识别出来，就可以被填补。首先要捕获两类记录：揭示智能体运行中发生了什么，以及智能体如何做出决策。“发生了什么”的记录识别智能体（同时保护隐私），并记录人类如何干预、智能体权限或“记忆”是否发生变化；而“决策”记录则展示智能体的推理过程及其对所做行动的置信水平。以处理银行抵押贷款的智能体为例。系统审查一份申请并建议拒绝，然后由人类信贷员签字确认。在后续审计中，甚至可能实时地，银行或监管机构需要能够重建是哪个智能体做出的决定、哪些……