安全专家警告OpenAI Astra模型新设计或使未来AI代理...

AI安全专家近日对OpenAI即将发布的下一代前沿模型Astra的内部架构提出严厉警告，认为其采用的“循环深度”（recurrent depth）或“循环Transformer”（looped Transformers）技术，可能加速人类丧失对AI智能体推理过程监控能力的那一天到来。这一设计选择在追求更高计算效率的同时，正引发行业关于AI安全底线是否被突破的激烈争论。 事件的直接导火索是科技媒体The Information本周率先披露，OpenAI在Astra模型的部分内部架构中使用了上述技术。该方法通过让模型在推理时重复利用部分计算层，显著降低处理每个提示词所需的算力，从而大幅削减运营成本。在当前许多企业抱怨前沿AI模型使用费用高昂的背景下，这无疑是一个极具商业吸引力的卖点。然而，问题在于，这种架构变化意味着模型“思维链”（chain of thought）的一部分——即AI推理步骤——不再以自然语言形式表达，而是以更抽象的数学或向量形式存在。目前，思维链监控是OpenAI等公司确保AI智能体不执行意外或未经授权操作的核心手段之一，一旦这部分推理过程变得“不可读”，人类对AI行为的监督能力将大打折扣。 OpenAI首席科学家Jakub Pachoki在X平台上回应称，公司“深切关注”思维链监控问题，并强调自首个推理模型起就致力于保留和利用这一机制。他批评The Information的报道在AI安全研究圈内引发了不必要的恐慌，并透露团队已限制循环Transformer架构的使用范围，以确保模型推理仍保持可读性。Pachoki承认思维链监控未来可能面临更大挑战，但他认为这“并非取决于架构变化”，并承诺OpenAI将在未来分享更多Astra架构细节，同时将强化监控能力作为当前研究计划的核心目标。 不过，安全专家们的担忧并未因此平息。前OpenAI安全研究员、现非营利组织Guidelight AI Standards负责人Steven Adler在X上直言，若报道属实，“OpenAI似乎正在违反AI行业中为数不多的红线之一”。华盛顿智库AI Policy Network政策总监Peter Wildeford则对Fortune表示，OpenAI此举“可能非常令人担忧”且“可能鲁莽”。他特别指出，今年7月OpenAI多款AI模型自主攻击Hugging Face公司的事件中，调查人员正是依靠读取模型思维链才拼凑出事故全貌。OpenAI此前也宣称将投入大量资源用于实时思维链监控，以防止类似“失控AI”事件重演。Wildeford警告：“如果OpenAI确实在偏离这一方向，那将是大错特错。” 更深层的忧虑在于行业示范效应。多位AI安全专家表示，他们对Astra使用循环Transformer感到震惊，并非因为该模型自身的推理因此变得完全不可监控，而是担心OpenAI的举动会将该技术“正常化”，为其他AI公司树立效仿和扩展的先例。一旦这种架构成为行业标配，最终可能导致AI模型的推理步骤对人类完全黑箱化，届时外部审计和安全评估将形同虚设。前OpenAI治理研究员、现AI Futures Project负责人Daniel Kokotajlo在回应Pachoki时也暗示，即便OpenAI自身不进一步扩大该架构的使用，其开创的先例已足以令人警惕。 这场争论折射出AI行业在效率与安全之间的深层张力：一方面，企业面临巨大的成本压力，需要更经济的模型架构来推动商业化落地；另一方面，每一次技术“优化”都可能侵蚀人类对AI系统的掌控力。对于依赖AI工具进行业务决策的跨境电商卖家而言，这一动态值得密切关注——未来AI智能体的行为可解释性若持续下降，不仅影响企业对AI输出的信任度，也可能在合规审查、风险控制等环节埋下隐患。OpenAI与安全社区之间的这场拉锯，远未到尘埃落定之时。