AI评分 一般 (66)AI 中文改写
构建强有力的安全评估体系——Anthropic
4 天前 2 阅读来源:anthropic.com
AI 中文改写
原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接
Anthropic近日发布了一份关于如何构建高质量AI安全评估(safety eval)的方法论文章,直言当前AI安全评估领域存在一个根本性困境:当一家公司宣称某个模型“比上一代更安全”时,这个结论的可靠性完全取决于背后那套评估本身是否靠谱,而好的安全评估恰恰极难构建。Anthropic在文中援引研究界的反复发现——AI评估很容易被“刷分”、并不总能测到它声称要测的东西、文档记录也往往不足以复现结果。甚至连题目形式是选择题还是开放式问答、选项排列顺序如何,都可能让结果发生偏移。
这一问题的背景是,安全评估直接决定了AI模型最关键的几个决策:能否部署、配套哪些防护措施、下一轮安全训练和研究往哪个方向走。Anthropic将安全评估定义为测量模型“在特定输入下是否做了正确的事”,关注的是模型造成或助长伤害的倾向、回应让伤害变得更可能还是更不可能、以及伤害的严重程度,而非单纯测能力。伤害场景既包括用户主动索要有害输出(比如自残指导),也包括用户本意无害但风险很高的请求(比如询问某种药物的合适剂量)。文章还类比了心理学领域十年前的“可复现性危机”——大规模复现项目发现大量已发表结论站不住脚,部分原因在于样本太小、期刊偏好统计显著的结果;心理学界随后推行了预注册、改进测量方法、更严格的统计规范等改革,Anthropic表示正是借鉴这些经验来构建自己的评估体系。
在具体操作层面,Anthropic给出了两条核心建议。其一是组建跨学科团队:方法专家负责决定如何采样、打分和分析模型回应,心理学、生物学、政治学等领域专家则确保测试案例覆盖真实且多样的场景,并界定什么算伤害、哪些属于边界案例、什么样的回应算合格。缺少任何一方视角,评估质量都会打折扣——要么技术严谨但抓不住该伤害领域最相关的因素,要么领域知识深厚却只测了行为的一个子集,无法对整体下结论。其二是安全地运行评估:安全评估通常要在关闭标准防护的情况下进行,以了解模型的基线表现,尤其在网络安全类评估中,模型可能试探测试环境边界,一旦“逃逸”就可能做出意外动作。因此评估应放在无网络访问的沙箱中运行并实时监控,一旦模型出现可能造成现实伤害的行为可立即中止。Anthropic透露,近几个月针对自身发生的事件,他们已经加固了评估环境,并暂时停止运行许多允许模型联网的评估。
这篇文章对你有帮助吗?
觉得有用?分享给更多人
留言 · 0 条
暂无留言,来说两句吧
