OpenAI新推理技术引AI安全专家担忧

OpenAI即将推出的Astra模型将采用一种名为“循环深度”的推理技术，这一消息在AI安全领域引发了强烈担忧。据The Information报道，这种技术也被称为“不透明循环”，它允许模型跳出大多数推理模型所依赖的顺序思维模式进行运算，但代价是让模型的思维链变得更加难以监控。Redwood Research首席执行官Buck Shlegeris在消息传出后直言“极度担忧”，认为如果OpenAI进一步推广这项技术，将彻底摧毁思维链的可监控性。长期关注AI安全的Zvi Mowshowitz更是警告称，这种做法是在“玩火”，可能破坏OpenAI和Anthropic好不容易建立起来的思维链透明性共识，甚至需要立法来阻止各大AI实验室之间的“逐底竞争”。 要理解这场争议的来龙去脉，得先搞清楚思维链在AI安全中的角色。通常情况下，推理模型的思维链会记录模型在解决问题时采取的每一步逻辑步骤，虽然这种记录并不完美，但它一直是研究人员监控模型是否出现越轨行为或偏离预期目标的关键工具。此前OpenAI在处理“ rogue agent”事件时，正是依靠思维链记录才得以追溯智能体异常行为的原因。而“不透明循环”技术则让模型不再走线性推理路径，而是以循环方式多次处理同一查询，最终留下的可读痕迹大幅减少，相当于绕开了传统的思维链记录。不过值得注意的是，Astra模型对这项技术的使用范围似乎有限，OpenAI也否认会全面转向所谓的“神经语”模式。该公司首席科学家Jakub Pachocki在X平台上强调，OpenAI自首个推理模型起就致力于保留和利用思维链监控，这是当前研究计划的核心目标。但Redwood Research首席科学家Ryan Greenblatt的担忧更为深远，他认为不透明推理的扩展速度可能远超传统思维链，最终导致模型完全在“潜在空间”中推理，彻底脱离可见通道。他坦言：“我最担心的是，从这里自然发展下去，模型将完全或几乎完全在潜在空间中思考。希望现在阻止最令人担忧的架构还为时不晚，希望OpenAI能就此止步。”