ChatGPT-5.5、Gemini 3与Copilot 2026化学课程答题表现对比
5 天前 7 阅读来源:nature.com
AI 中文改写
原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接
伊朗比尔詹德医科大学的一项最新研究,对当前主流大语言模型在化学课程测试中的表现进行了横向评测。研究团队选取了一份包含50道选择题的问卷,内容以波斯语为主,夹杂少量英文术语和化学公式,分别测试了ChatGPT-5.5、Gemini 3和Copilot 2026三款模型。结果显示,三款模型的平均灵敏度为0.81,特异度为0.29,准确率为0.68。其中Gemini 3表现最好,灵敏度、特异度和准确率分别达到0.85、0.56和0.80;ChatGPT-5.5灵敏度最低,仅为0.76;Copilot的特异度只有0.07,准确率0.62,在三者中垫底。
这项研究值得关注的不仅是排名本身,更在于它暴露出的一个共性问题:所有模型在需要识别错误选项的否定式题目上表现都很差。换句话说,当题目要求选出不正确的答案时,模型们集体失灵。研究还发现,模型表现与问卷特征之间没有显著相关性,说明这种失误并非由题目难度或语言差异单独造成,而更可能与模型对否定逻辑的处理能力有关。对于把AI工具用于教育、培训或知识问答场景的从业者来说,这意味着直接让模型处理考试类、测评类任务时,仍需人工复核,尤其是在涉及反向判断的环节。研究团队也强调,这只是初步结论,后续还需要更大规模的验证。
这篇文章对你有帮助吗?
觉得有用?分享给更多人
留言 · 0 条
暂无留言,来说两句吧
