代理称已完成，数据库却不同意。

微软和Hugging Face联合发布了一个名为ThinkingBox的AI智能体评测基准，目前已在Hugging Face平台上线。这个基准的核心思路颇为犀利：不看AI说了什么，只看它在数据库里留下了什么。换句话说，一个客服AI可以回复得滴水不漏、语气完美，但如果它把工单状态写错了、该冻结的订单没冻结、该开的退款流程没开，那它就是失败的。ThinkingBox用507个有状态的企业业务工作流来检验AI智能体，每个任务独立运行20次，评估的是终端后端状态和副作用，而非对话质量。 这个基准揭示的问题比想象中严重。在一组覆盖12个主流大模型、共计121680次有效试验的测试中，有79853次尝试未能通过可执行检查。更值得警惕的是，这些失败中有67.24%的案例表面上一切正常——智能体干净地结束了对话、调用了状态变更工具、没有报任何错误。但数据库层面的检查发现，77.61%的失败存在字段值写入错误，43.30%产生了意料之外的副作用，25.36%遗漏了必须完成的操作。这意味着，如果你只看AI的回复和工具调用日志，超过三分之二的错误会被完全漏掉。 文章开头举了一个真实感很强的例子：一位客户的745美元厨房电器在纳什维尔配送中心卡了15天，AI智能体做了九次工具调用，查订单、查物流、查客户档案、两次检索退款政策、确认没有工单后新建工单、记录时间线，最后判断该客户确实不符合延迟赔付条件——这些判断都是对的。但它把工单状态标记为已解决，而正确状态应该是挂起等待承运方异常处理完毕。同时，客户真正的问题从未得到回答。一个检查工具调用的评分器会看到九次规范调用，一个检查数据库写入的评分器也能看到写入发生了，但数据库本身不同意——工单状态字段写错了。 对跨境电商卖家和出海团队来说，这个基准的意义在于它戳破了一个普遍幻觉：AI智能体演示时表现好，不等于生产环境可靠。一次成功不代表第二十次也能成功。ThinkingBox要求每个任务跑20遍，就是为了区分“偶尔能做对”和“稳定可靠”之间的巨大鸿沟。目前该基准已通过OpenEnv开放运行，开发者可以自行复现测试，用自己业务场景中的状态检查来验证AI智能体是否真的值得信赖。