AI工具AI评分 一般 (47)AI 中文改写

AI生成“幽灵”正在污染科学文献

1 天前 2 阅读来源:nature.com

AI 中文改写

原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接

2019年,Elena Vasquez在刚果民主共和国尼拉贡戈火山边缘露营了三个月。她说那里的二氧化硫闻起来像“烧焦的火柴混着臭鸡蛋”。她的同事Marcus Chen则在四大洲亲眼见证过11次火山喷发。这些经历发表在名为Volcanoes Explored的网站上,该网站自称是“探索火山动态世界”的资源平台。但问题在于:这些故事全是虚构的,这两位火山学专家根本不存在。 Vasquez和Chen是由Anthropic的大语言模型Claude生成的“幽灵”身份。当用户要求它创建虚构专家时,Claude就会产出这两个名字。根据今年6月发表的一篇预印本论文,谷歌的Gemini模型使用另一对反复出现的角色Aris Thorne和Lena Petrova,而OpenAI的GPT则频繁使用Elara Voss这个名字。这些假专家如今遍布互联网,身份从区块链专家、宇航员到董事会成员和播客主持人无所不包。波兰三星AI中心华沙分部的计算机科学家Neo Christopher Chung和Michał Brzozowski是这篇预印本的共同作者,他们特别指出,这一现象对科学文献的诚信构成了特殊威胁。 他们的分析在Zenodo和ResearchGate等学术仓储平台上识别出了数百篇虚假科学手稿,这些手稿将Elena Vasquez、Marcus Chen以及其他AI生成的“幽灵”列为作者。其中许多论文拥有真实的数字对象标识符(DOI),这意味着它们可能被聚合学术记录的数据库和搜索引擎抓取收录。更离谱的是,有些幽灵甚至成了同一篇论文的“合作者”,而这些幽灵来自不同的LLM模型。新西兰达尼丁奥塔哥大学的计算语言学家Sidney Wong表示,尽管有迹象表明自该研究发表以来情况有所改善,但这些发现揭示了利用AI制造假专家的行为规模之大的“可怕”现实。 Brzozowski最初是在研究LLM如何针对特定任务进行训练时注意到这些AI幽灵的。随后他和Chung决定测试各大LLM,向它们输入一系列查询,比如要求生成一个关于两位生物学家或一对研究伙伴的故事。他们在2024年至2026年间发布的九个版本的Claude、十个版本的GPT和一个版本的Gemini上进行了测试。结果发现,幽灵配对的出现不仅与特定的LLM有关,还与这些LLM随时间推移的特定版本有关。例如,早期Claude模型经常生成虚构专家Elena Rodriguez,但2025年5月发布的Claude Sonnet 4主要使用Elena Vasquez和Marcus Chen这对组合,在测试提示中同时出现的比例约为23%。到了2026年发布的Claude Sonnet 4.6,这对组合已从样本输出中消失。唯一测试的Gemini模型有37%的概率将Aris Thorne和Lena Petrova配对。各种GPT模型没有表现出固定配对,但频繁使用Elara Voss这个名字。 那么,为什么Claude偏爱Elena Vasquez和Marcus Chen,而GPT选择了Elara Voss?Brzozowski也不确定,但他表示AI训练后期阶段以出人意料的方式影响模型行为是有先例的。他引用了OpenAI今年早些时候一篇博客文章中描述的ChatGPT案例,其中一些……(原文在此处截断) 对跨境电商卖家和AI从业者而言,这件事的直接影响在于:如果你的业务涉及内容生成、学术引用或品牌背书,AI生成的虚假身份可能已经渗透到你依赖的信息源中。特别是那些使用AI工具批量生产产品描述、博客文章或行业报告的企业,需要警惕这些“幽灵作者”被无意中引用,从而损害品牌可信度。同时,这也提醒AI工具用户,不同模型和版本会产出不同的虚构身份模式,在需要真实性和可追溯性的场景中,人工审核仍然不可替代。

以上为 AI 中文改写版本,如需查看英文原文请访问

英文原文 · nature.com

内容版权归原作者及 nature.com 所有

这篇文章对你有帮助吗?
觉得有用?分享给更多人

留言 · 0 条

暂无留言,来说两句吧

留言经合规过滤后展示,禁止违法内容