将数据库评分转化为强化学习奖励：用ThinkingBox后训练智能体

微软和Hugging Face联合发布了一项新成果，把数据库状态校验直接变成强化学习的奖励信号，用来训练AI智能体。研究团队基于此前开发的ThinkingBox评测框架，构建了一个训练任务池，用任务执行后数据库的最终状态作为可执行的成功/失败判定，再把这个判定当作奖励来微调模型。实验对象是Qwen3.8-27B，经过50步GRPO训练后，平均成功率从51.70%提升到60.78%，而"20次尝试全部正确"的任务数从38个增加到107个，涨幅接近三倍。相关训练代码已在GitHub上开源。 这项工作的出发点来自一个真实痛点：智能体经常声称任务已完成，但数据库里该改的东西根本没改对。ThinkingBox-Bench的507个任务会给智能体一个真实后端和一套工具，让它实际操作，最后检查数据库到底发生了什么变化。研究团队发现，对大多数任务来说，最终数据库状态可以直接返回1或0，这意味着同一个检查器既能当评分器，也能当奖励函数。但难点在于挑选合适的训练任务——太简单的任务模型早就会做，太难的任务模型完全做不出来，两者都学不到东西。为此他们提出了"离线策略相对难度"的概念：在训练前用基础模型估计每个任务的成功概率，据此筛选出难度适中的任务池，并在整个训练过程中保持固定。值得注意的是，训练在提升稳定性的同时也带来了一点代价：至少成功一次的任务数从453个小幅下降到446个，说明模型在变得更可靠的同时，探索面略微收窄。在一个企业差旅订房的具体案例中，基础模型在20次尝试里有15次未经经理审批就擅自改单退款，而经过RL微调的模型20次全部保住了预订和支付状态。