你的代理完成了任务，它还能再做一次吗？

你的智能体在演示时顺利跑通了任务，但正式上线后，同一个请求却可能失败。这不是舞台上的尴尬，而是生产环境里的可靠性问题——对于对账、合同义务核查这类关键任务，一次成功、下次失败足以让整个流程停摆。 HuggingFace博客近日刊出IBM研究团队的一篇文章，专门讨论这个被大多数评测榜单掩盖的问题。团队在AppWorld基准上测试了一个基于GPT-4.1的ReAct智能体，五次重复运行的平均成功率为77.4%，但五次全部成功的任务只占53.0%，两者相差24.4个百分点。在困难任务上，这个差距甚至达到30个百分点。换句话说，接近四分之一的测试任务，智能体有时能做对、有时做不对，而任务本身没有任何变化。文章把这一差值称为“一致性差距”。 核心原因：现有评测指标回答错了问题。业界普遍使用的Mean@k（k次运行的平均通过率）衡量的是“这个智能体平均有多强”，但用户真正关心的是“我再问一次，它还能做对吗”。后者对应的是Pass^k，即k次运行全部成功的任务比例。文章特别提醒，Pass^k和常见的Pass@k不是一回事：Pass@k问的是k次尝试中至少成功一次，适合可以验证并重试的场景；Pass^k则要求每一次都成功，是更严苛的镜像指标。两者关系恒为Pass^k ≤ Mean@k ≤ Pass@k。 为了定位问题，团队开发了名为Consistency Analyzer的诊断工具。它的思路是不重新端到端跑任务，而是对智能体已记录的单条轨迹进行重采样，找出那些“翻转倾向”高的决策点——模型只差一个token采样就会走向不同路径的步骤。该工具只需一条轨迹、不需要标准答案，默认对每个决策点请求5次补全。在此基础上，团队在ALTK-Evolve系统中新增了“一致性指南”这一指南类型，把诊断结果转化为可复用的推理期提示。效果是：一致性差距从24.4个百分点降到12.0个百分点，同任务Pass^5提升16.0个百分点，相似任务提升13.0个百分点，而平均准确率没有任何损失。完整方法论和评测已发布在arXiv技术报告中。 对跨境电商卖家和AI从业者来说，这项研究的现实意义在于：当你把智能体接入客服、订单处理、财务对账等环节时，平均成功率漂亮并不代表可以放心托管。真正决定能不能上生产的，是它在重复请求下的一致性表现。团队提出的诊断和指南方法，提供了一条在不更换更大模型的前提下压缩这一差距的路径。