AutoSynthData：为企业智能体生成训练数据

企业部署AI代理时常常遇到一个尴尬：模型通用能力很强，放到自家业务环境里却频频出错——某个工作流处理不好、某组工具调用总出问题、某条业务规则死活记不住。这些短板正是企业最想补上的，但难点在于怎么把“失败案例”变成训练数据。单次失败只能说明一个问题，而训练模型需要大量新任务，从不同角度反复锤炼同一项能力，同时这些任务还得在环境里跑得通、像真实用户会提的需求、并且能可靠判断代理是否完成。ServiceNow CoreAI团队为此构建了AutoSynthData，思路是用目标模型的失败记录和更强教师模型的成功经验，来判断模型下一步该学什么，然后自动生成并验证能锻炼这些能力的新任务。随着模型进步，训练课程会自动转向它仍然吃力的部分。 这套流程的核心抽象是：任务等于系统规范、用户提示词和验证器三件套。系统规范定义代理运行时的约束条件，包括系统指令、环境策略，必要时还包括种子数据库状态或知识库文章等初始化内容，它必须与环境支持的工具和动作兼容，指令要清晰，不能为了制造难度而硬塞无意义的限制。用户提示词则说明用户想让代理完成什么，以及用户层面的约束，生成的任务需要满足三个属性：可行性，即环境中至少存在一条轨迹能同时满足提示词和系统规范，排除依赖不可用工具、无法访问的知识或违反策略的任务；真实性，提示词要像目标环境里用户真会提的需求，因为可执行行为的空间通常远大于真实工作流的空间；难度，任务应当暴露当前代理的短板，已经能稳定解决的任务提供的新训练信号很有限，真正有价值的是那些可行、真实但尚未稳定解决的任务。验证器负责判断轨迹是否成功完成任务，同样要满足三个属性：一致性，与提示词、系统规范及任务特定环境状态相符；可靠性，拒绝未满足任务或违反约束的轨迹；完备性，接受所有合法解法，而不是只认某一条参考轨迹。这些属性在训练过程中直接决定数据质量，也决定了AutoSynthData能否真正帮企业把模型短板转化为可用的训练素材。