AI工具AI评分 一般 (51)AI 中文改写

ChatGPT-5.5、Gemini 3与Copilot 2026化学课程答题表现对比

5 天前 7 阅读来源:nature.com

AI 中文改写

原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接

伊朗比尔詹德医科大学的一项最新研究,对当前主流大语言模型在化学课程测试中的表现进行了横向评测。研究团队选取了一份包含50道选择题的问卷,内容以波斯语为主,夹杂少量英文术语和化学公式,分别测试了ChatGPT-5.5、Gemini 3和Copilot 2026三款模型。结果显示,三款模型的平均灵敏度为0.81,特异度为0.29,准确率为0.68。其中Gemini 3表现最好,灵敏度、特异度和准确率分别达到0.85、0.56和0.80;ChatGPT-5.5灵敏度最低,仅为0.76;Copilot的特异度只有0.07,准确率0.62,在三者中垫底。 这项研究值得关注的不仅是排名本身,更在于它暴露出的一个共性问题:所有模型在需要识别错误选项的否定式题目上表现都很差。换句话说,当题目要求选出不正确的答案时,模型们集体失灵。研究还发现,模型表现与问卷特征之间没有显著相关性,说明这种失误并非由题目难度或语言差异单独造成,而更可能与模型对否定逻辑的处理能力有关。对于把AI工具用于教育、培训或知识问答场景的从业者来说,这意味着直接让模型处理考试类、测评类任务时,仍需人工复核,尤其是在涉及反向判断的环节。研究团队也强调,这只是初步结论,后续还需要更大规模的验证。

以上为 AI 中文改写版本,如需查看英文原文请访问

英文原文 · nature.com

内容版权归原作者及 nature.com 所有

这篇文章对你有帮助吗?
觉得有用?分享给更多人

留言 · 0 条

暂无留言,来说两句吧

留言经合规过滤后展示,禁止违法内容