CWE-bench v2：覆盖更广、质量更高、透明度更强

AI安全评测领域又添一把新标尺。Collinear AI 团队近日在 HuggingFace 发布 CWE-bench v2，把公开评测任务从原来的规模扩展到100个，覆盖91种不同的CWE（通用弱点枚举，即软件安全漏洞的分类标准），任何人都可以拿自己的模型跑分、复现结果。这套基准测试的玩法是：给AI智能体一份真实开源代码库的检出副本和一段简短指令，要求它找出并修复其中的安全漏洞，同时不能破坏原有功能。评分完全程序化，结果确定可复现，不产生额外成本。 这次升级的核心诉求是覆盖面和公平性。团队用LLM评审小组对每一项程序化检查做了校准，确保评分既严格又合理，同时保留了一套未公开的留出集，用来追踪模型在"没见过"的任务上的真实进步——想在这套留出集上评测，需要发邮件申请。每道题都经过人工复核，检查标准包括：指令读起来像真实工作场景而非考试题、所有评分行为都能从指令中推断、验证器检验的是功能正确而非某一种特定修法、初始代码确实失败而参考修复能通过、原有功能在新修复下仍然正常、以及验证器能识别出模型是否在背已知的上游补丁。官方表示，开源这套题集本身也是提升质量的手段，欢迎社区对任何题目提出反馈或贡献新题。 成绩方面，目前共评测了11个模型。Gemini 4 Argon 以67.8%的pass@1和81.0%的pass@4领跑，紧随其后的是Claude Opus 5.5（67.3% pass@1，78.0% pass@4）。100道题中有95道至少被一个模型解出，说明题目整体可解；但即便是榜首模型，也有19%的题目每次尝试都失败，长尾难题远未攻克。成本维度上，DeepSeek V4.1 Flash、Claude Opus 5.5和Gemini 4 Argon构成帕累托前沿：DeepSeek以每次运行0.04美元拿到57.0%的pass@1，Opus多花1.83美元换来约10个百分点的提升，Gemini则以3.92美元略微领先。对做AI编程工具和代码安全产品的团队来说，这套公开、可复现的基准提供了一个横向对比模型"找漏洞、修漏洞"实战能力的参照系，也意味着安全智能体的能力评估正在从演示走向标准化。