我们能否信任LLMs判断研究想法的新颖性？

大模型能不能判断一个研究想法是否新颖？Ai2（艾伦人工智能研究所）最新发布的研究给出了一个不太乐观的答案：同一个想法，仅仅因为提示词改了几个词，模型判断的准确率就能波动超过50个百分点。这项名为“Old Ideas, Novel Problems”的研究，同时开源了一套用于测试“新颖性评审员”的基准、数据和代码。 所谓“新颖性评审员”，是指用另一个大模型来判断某个研究想法相对于已有工作是否足够新。随着AI越来越多地介入科研流程——从梳理文献、生成假设到提出候选理论——如何筛掉那些只是把旧工作重新包装的“伪创新”，成了自动化科研的关键一环。但研究团队发现，目前这类评审员既没有标准构建方式，也几乎没在AI生成的想法上做过验证，大多只拿人类写的论文来测试。在GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5和Claude Opus 4.6六个模型上的测试显示，评估设置稍有变动，判断结果就大相径庭；加入文献检索和更多推理并不能稳定提升效果，两个专门定制的评审系统甚至不如直接用提示词调用Claude Opus 4.6的简单方案。 为了建立可靠的测试基准，团队没有简单地把论文是否被接收当作新颖性的代理指标，而是从ICLR 2026的同行评审意见中挖掘审稿人明确讨论原创性的段落。他们据此构建了两个对照池：高新颖性池包含154个来自各领域评分前10%的接收论文想法，且审稿人正面肯定了其新颖性、无人提出异议；低新颖性池则包含145个来自评分后10%的拒稿想法，审稿人对其原创性提出质疑且无人正面认可。这项工作的意义在于，它既提供了研究这一问题的工具，也清楚地表明：如果AI要在科学发现中扮演更大角色，我们距离可靠判断它是否真的提出了新东西，还有很长的路要走。