ALTK-Evolve：学习记忆如何在没有前沿模型的情况下登顶τ²-bench客服任务排行榜

IBM研究院团队最近在HuggingFace博客上公布了一项实验结果：不换模型、不调权重，仅靠一套“学出来的操作手册”，就让一个基于GPT-4.1的普通客服Agent在τ²-bench零售任务上拿到67.5%的Pass^4成绩，超过了他们截取的2026年10月12日榜单上所有零售类参赛条目。Pass^4的意思是同一任务独立跑四次全部成功才算通过，这个指标比单次通过率苛刻得多，能拿到这个分数说明Agent的稳定性相当可观。 这件事的背景值得说清楚。τ²-bench是Sierra推出的客服Agent基准测试，专门模拟真实业务约束下的对话场景：每个任务里，Agent要面对一个由大模型扮演、带着明确目标的“顾客”，手里有一组业务工具（查订单、退款、改签航班等），同时必须严格遵守一份书面政策文档。任务是否完成不看对话说得多漂亮，只看最终数据库状态是否与预期一致，是严格的二元判定。换句话说，它考的是Agent能不能在政策红线内把事办成，这对跨境电商卖家来说并不陌生——退换货、订单修改、身份核验，每一步都有合规要求，做错一步往往不可逆。 ALTK-Evolve的做法是：让同一个GPT-4.1模型先分析Agent在训练任务上的成功与失败记录，把经验蒸馏成一条条简短的行为规则，比如“任何订单操作前必须先验证用户身份，邮箱不可用时通过姓名加邮编调用find_user_id_by_name_zip接口核验”“所有修改、取消、退换操作都要先给出结构化摘要并取得用户明确同意才能写库”。这些规则以纯文本列表的形式追加在系统提示词里，排在领域政策文档之后，其余部分——政策、工具、ReAct脚手架——全部保持τ²-bench原样，模型权重没有任何更新，也不需要人工标注。实验用的是GPT-4.1这个非推理型的老模型，顾客模拟器则用gpt-5.5，每个任务跑4次。 对出海卖家和AI从业者来说，这个结果的实际意义在于：客服Agent的能力瓶颈未必在模型本身，而在于领域经验有没有被有效沉淀。用一套可复用的“学习记忆”把踩过的坑变成提示词里的规则，成本远低于换前沿模型或微调，却能显著提升政策遵循度和多轮任务的完成率。这套方法此前已在编程Agent上验证过，这次在客服场景跑通，意味着中小团队也有机会用较低成本搭出靠谱的客服自动化流程。