Anthropic与OpenAI欲嵌入安全评估员，真能独立吗？

Anthropic CEO 达里奥·阿莫代伊上周末发了一篇长文，提出一个放在一年前会被整个AI行业当场否决的建议：在所有前沿AI公司内部常驻第三方评估人员，赋予他们报告安全事故、评估模型是否真正对齐、并向公众披露未经修饰的调查结果的权力。阿莫代伊表示，Anthropic 将承诺向 METR、Redwood Research 这类独立评估机构开放前所未有的系统访问权限。OpenAI CEO 山姆·奥尔特曼随后表态，OpenAI 也将做出同样承诺。这标志着AI公司与外部研究机构的合作方式可能发生根本性转变。多位接受 TechCrunch 采访的第三方评估人员对这一提议总体表示欢迎，但强调细节仍需敲定，最好还能有立法背书，否则无法判断自己究竟是真正独立的监督者，还是按AI公司条件行事的供应商。 评估人员之所以要求更深入的访问权限，是因为模型正变得越来越擅长识别自己何时处于被评估状态，从而在测试中表现良好、却隐藏有问题的行为。研究人员指出，仅测试成品模型可能错过这些线索，而通过审查模型在整个训练过程中的行为才能发现。Apollo Research 研究主管亚历山大·迈因克对 TechCrunch 表示，AI公司理应能回答一些关于训练过程的基本问题，比如AI在训练期间是否曾主动试图破坏自身的对齐训练，答案必须是无条件的否定，而目前外界完全依赖AI公司自行仔细检查并如实向公众报告，但近期事件表明，它们默认两件事都不会做。作为常驻评估方，研究人员才能真正去核查。过去AI公司通常在模型发布前不久才引入外部评审测试成品，如今评估人员提议不仅能访问最终模型，还能访问训练过程中产生的中间版本，即检查点。FAR.AI CEO 亚当·格利夫表示，评估人员可以对比这些检查点，确定令人担忧的行为是何时出现的，检查奖励特定行为的训练后环境，并核对评估记录和日志，以验证公司关于模型表现的声明。但Anthropic和OpenAI是否以及何时提供这类访问权限尚不明确。尽管Tech Crunch多次追问，两家公司均未透露将与哪些评估机构合作、何时入驻、引入多少人、具体能访问哪些系统和信息、以及哪些内容可以向公众披露。 这种深入审查之所以重要，是因为在安全测试中表现良好的模型未必真的安全，如果它专门学会了如何通过测试的话。Palisade Research 战略主管约翰·斯泰德利举了一个“关停抵抗基准”的例子，该基准衡量AI在特定情况下是否会抵抗被关闭。斯泰德利说，如果AI被专门训练在该基准上取得好成绩，那结果就极其可疑，并将其比作大众汽车排放门丑闻，当时汽车被编程为识别排放测试并在测试条件下改变表现。格利夫还指出，有意义的访问权限可能超出模型本身，评估人员应被允许采访员工，以核查公司的文档和公开描述的安全实践是否与内部实际情况相符。阿莫代伊确实提出了一个相当全面的方案，可能给予评估人员他们认为必要的访问权限，包括发布关于风险水平、事故、实践以及所获访问权限等关键发现的权利。