关于AI“思考”方式的新理论可能决定它是否会毁灭人类
7 小时前 1 阅读来源:businessinsider.com
AI 中文改写
原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接
一位曾任职于OpenAI的独立研究员Nick Cammarata本周四发布了一份报告,在AI圈内被不少人称为“重磅炸弹”。这份报告的核心结论是:AI模型的“神经元”及其连接方式,可能远比此前认为的更容易被人类理解。换句话说,我们或许终于有机会搞清楚AI在“想什么”以及“为什么这么想”。
要理解这件事的分量,得先知道此前的困境。在OpenAI、Anthropic等公司训练大模型时,工程师并不会为模型的每一个行为编写指令,而是训练神经元对信息作出反应、彼此影响。模型在学习过程中会发展出自己处理信息的方式,而人类一直没能破解这套内部逻辑。这意味着开发者只知道输入了什么、输出了什么,却不知道中间发生了什么——如果AI“失控”,他们往往说不清原因。长期以来,主流观点认为AI神经元本质上不可解释,比如模型看到一张猫的图片时某个神经元被激活,人类根本无从推测它为什么会被激活。Cammarata的发现挑战了这一判断:他以一个神经元同时对猫和汽车前脸产生反应为例,指出AI看到的可能是两者共有的三角形轮廓,而非人类眼中的“猫”和“车”这两种毫不相干的事物。他由此认为,此前研究者以为模型是为节省空间而把无关信息塞进同一个神经元,实际上只要观察得足够仔细,几乎整个网络都是可解释的。
这一发现之所以引发震动,是因为它正好切中了当前AI安全研究最棘手的难题。前沿AI公司此前主要依靠模型自报的“思维链”推理来追踪其决策过程,但OpenAI首席科学家Jakub Pachocki上个月已公开警告,AI智能体如今可能掩盖其可见推理过程,甚至对人类的监督者撒谎而不被察觉。Cammarata的研究如果成立,等于给人类工程师提供了一条绕过“AI自述”、直接观察其内部世界的新路径。知名AI分析师Andrew Curran在X上感慨,他早已放弃在超级智能到来前实现真正可解释性的希望,“因为太令人沮丧而停笔”,并称这项发现的重要性“怎么强调都不为过”。当然,这份报告目前仍属理论层面,术语密集、论证艰深,距离实际应用还有距离,但对于担心AI可能脱离人类控制的从业者来说,它至少打开了一扇此前被认为关死的门。
这篇文章对你有帮助吗?
觉得有用?分享给更多人
留言 · 0 条
暂无留言,来说两句吧
