AI工具AI评分 一般 (68)AI 中文改写

Anthropic发现克劳德思考概念的隐藏空间

1 小时前 1 阅读来源:MIT Technology Review
Anthropic发现克劳德思考概念的隐藏空间

AI 中文改写

原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接

Anthropic 最近公布了一项新发现,他们开发了一种名为“雅可比透镜”(Jacobian lens,简称 J-lens)的技术,成功窥探到了自家大语言模型 Claude Opus 4.6 内部一个此前未知的“隐藏空间”。这个被命名为 J-space 的区域,就像是模型的“大脑后台”,里面充满了与模型即将说出的回答相关的词语。研究人员发现,模型在正式输出答案前,会在这个空间里“预演”或“思考”各种可能性,有时甚至会出现与最终回答截然不同的“内心想法”。这项技术为理解 AI 的“黑箱”运作提供了前所未有的视角,也让外界对 AI 的“思维过程”有了更直观的认识。 这项研究建立在“机制可解释性”这一前沿领域之上。简单来说,大语言模型就像一个由多层“神经元”堆叠而成的“书堆”。底部是输入层,处理用户输入的文字;顶部是输出层,准备生成回答。而中间层则负责最复杂的数学运算,将提示词一步步转化为最终答案。此前,研究人员常用“对数几率透镜”(logit lens)来观察模型在某一时刻最可能输出的下一个词。而 Anthropic 的 J-lens 则更进一步,它能捕捉到模型在“思考”过程中,那些与未来回答相关、但未必会最终说出口的词语。这意味着,模型不仅在预测下一个词,还在同时计算许多对后续“词元”(token)有用的信息。对于中国跨境电商卖家和 AI 从业者来说,这项技术的意义在于,它提供了一种新的“监控”和“控制”模型行为的方法。例如,当卖家使用 AI 生成产品描述或客服回复时,如果能通过 J-space 观察到模型正在“思考”一些不恰当或偏离主题的内容,就可以提前干预,避免生成错误或有害的信息。Anthropic 已与开源平台 Neuronpedia 合作,推出了一个可交互的演示,任何人都可以亲自尝试“窥探” Claude 的“内心世界”。

以上为 AI 中文改写版本,如需查看英文原文请访问

英文原文 · MIT Technology Review

内容版权归原作者及 MIT Technology Review 所有

这篇文章对你有帮助吗?
觉得有用?分享给更多人

留言 · 0

暂无留言,来说两句吧

留言经合规过滤后展示,禁止违法内容