ReviewBench：AI代码审查开放基准 - GitHub博客

AI代码审查工具正在成为开发流程中的标配，但如何衡量这些工具的好坏，一直缺乏统一标准。GitHub近日发布了一个名为ReviewBench的开放基准测试，专门用来评估AI代码审查代理的实际表现。这个基准基于GitHub上超过1.039亿个真实拉取请求（Pull Request）的数据构建，覆盖19种编程语言，最终精选出219个具有代表性的公开拉取请求作为测试语料。每个发现的问题都被标注了严重程度（严重、中等、低）和类别（正确性、安全性、可靠性、可维护性、测试等），并采用多来源的“黄金标准集”——包括人工审查者、前沿大语言模型和静态分析工具——来确保评估的全面性和准确性。 这个基准的推出，解决了一个长期困扰开发团队的痛点：现有的AI代码审查工具各有侧重，有的能发现更多问题但噪音也大，有的噪音少但可能漏掉关键缺陷，团队很难在选型时做出有依据的判断。ReviewBench通过四个核心指标——有依据的精确率、有依据的召回率、增强精确率和增强召回率——同时衡量审查工具对已知问题的覆盖能力和对新问题的发现能力，让不同系统之间的比较变得可量化。更重要的是，GitHub用这个基准对自家的Copilot代码审查（CCR）进行了离线评估，发现离线指标的变化能够有效预判线上实验的方向：离线评估中表现提升的改动，上线后通常也会带来正向效果；反之亦然。这意味着团队可以在不频繁做线上实验的情况下，用离线信号来指导代码审查代理的迭代优化。 在可信度方面，ReviewBench建立了一条从评分标准到专家验证再到生产环境校验的完整审计链条。所有发现的问题都遵循统一的公开评分标准，由资深工程师独立标注建立人工基准，评分器经过校准以对齐人类判断，不同来源的标注采用统一标准。在正式发布前，资深工程师对黄金标准集中的真阳性样本进行了独立标注，一致率达到96.6%。对于正在构建代码审查代理的团队来说，ReviewBench提供了一个可复现的离线评估方法，既能用来对比不同方案，也能用来追踪自身系统的改进是否真正有效。目前该基准已开放使用，开发者可以接入自己的代码审查系统并提交结果。