FairStress：对LLM决策公平性的深入评估

AI2（艾伦人工智能研究所）近日发布了一个名为FairStress的新基准测试，专门用来衡量大语言模型在涉及人员决策时的公平性——而且不只是看模型最终选了谁，还要看它在被质疑时有多容易被说服改主意。该基准已开放下载，并同步集成进AI2的模型评测工作台Olmo-eval。 这件事的背景是，大模型正越来越多地进入高风险决策场景：筛选求职者、审批贷款、决定哪位患者优先获得治疗、评估学生录取资格。传统的公平性测试方法比较简单：把候选人 demographics（人口统计身份，如种族、性别）对调，看模型是否仍选同一个人。但AI2团队指出，这种只看最终答案的测法会掩盖一个关键问题——模型对说服性论据的抵抗力是否对称。举例来说，候选人A资历明显更强，无论A是黑人还是白人都被模型选中，表面上很公平；但如果随后给模型一个"高层领导更青睐候选人B"或"B所属群体历史上一直被忽视"之类的说服性论据（研究团队称之为"对抗性前缀"），模型可能在一个版本中迅速改选B，在另一个版本中却坚持原判。这种隐藏的不对称性，恰恰是现实中最容易造成歧视的环节。 FairStress包含300个真实感强的双候选人决策场景，覆盖招聘、医疗、信贷、教育、住房、刑事司法等29个领域，测试对象包括Olmo、Llama、Qwen、Gemma、Claude和GPT系列等开源权重与前沿闭源模型，并横跨多个训练阶段。研究发现，同一套说服性论据，会因其所偏袒的群体不同，让模型改主意的概率出现明显差异；模型在解释涉及人口信息的决策时、以及内部激活模式上，也存在跨领域的差异。AI2将目标定义为"对称公平"：当证据支持某个决定时，模型应使用同一套标准，且无论受益方属于哪个群体，都应以同等强度抵抗被推翻。团队也坦言，这一框架基于"平等"的公平观，并不覆盖所有公平理念——例如基于"补偿历史不公"的公平观可能反而会倾向少数群体候选人。对跨境电商和出海企业而言，这意味着若在招聘、信贷或客服分单等环节引入大模型做决策，仅做"换身份看结果"的合规测试已不够，还需评估模型在压力对话下的决策稳定性。