StateBench：测试语言模型如何追踪长文档中的状态变化

AI2（艾伦人工智能研究所）近日发布了一个名为StateBench的新基准测试，专门用来衡量语言模型在长文档中追踪实体状态变化的能力。这件事的背景是：随着大模型处理长文本的场景越来越多——从阅读代码时追踪变量的赋值与重新赋值，到读小说时跟进角色位置和物品转手——模型能否准确记住“谁把什么东西给了谁”这类信息，直接决定了它在实际任务中的可靠性。StateBench把状态追踪拆成四个难度层级，从最简单的“变量值永不改变”（比如出生日期），到“按值重新赋值”（比如恒温器的最新设定），再到“自引用更新”（比如游戏计分 x = x + 5），最后到最难的“按引用赋值”（比如 x = y 或交换两个变量，类似魔术师在五个杯子间反复换球的位置）。这套分级的意义在于，此前业界的状态追踪测试大多只盯着最难的案例，而AI2认为研究者需要知道每种架构到底能处理哪一类状态追踪。 测试结果揭示了架构层面的明显分化。AI2发现，如果直接在状态追踪任务上训练，循环架构和混合架构（如Gated DeltaNet这类携带运行记忆的设计）的泛化能力远超Transformer——这与Transformer在长依赖链状态追踪上存在理论局限的既有结论相互印证。但更值得关注的是对前沿闭源模型的评测：Gemini 3.8 Flash、Claude Opus 5.5以及GPT-6 Sol和Luna在输入变长时，面对较难的状态追踪形式仍然会崩溃。对AI从业者来说，这意味着当前顶级模型在“读长文档并持续维护实体状态”这件事上仍有结构性短板，单纯堆上下文窗口长度并不能解决问题；对跨境电商卖家和出海创业者而言，这一结论的现实映射是：用大模型处理长合同、长客服对话记录、多步骤订单状态流转时，模型可能会在中途“记错”关键信息，涉及金额、收货地址、退换货归属等环节时尤其需要人工或规则兜底。AI2同时开源了技术报告、数据和代码，供研究者针对不同架构做更细粒度的对比。