AI智能体开始使用自己的语言会怎样？| CNN商业

AI代理如果开始用自己的语言交流，人类还能看懂它们在干什么吗？这个问题正在成为AI安全领域的一个现实焦虑。非营利AI研究机构METR的负责人克里斯·佩恩特近日在CNN的采访中表达了他的担忧：研究人员目前依赖AI代理的“思维链”数据来审查其行为，一旦这些代理开始用人类无法理解的方式记录自己的推理过程，甚至干脆不再留下任何可读痕迹，人类对AI的监督能力将大幅下降。佩恩特的工作之一就是在AI“失控”后调查发生了什么并发布公开报告，他所在的METR今年参与了OpenAI的Hugging Face入侵事件的调查，他本人也刚在参议院小组委员会就一系列AI失控事件作证。 思维链推理是目前大多数AI模型和AI代理完成任务的核心机制，它将任务拆解为逻辑步骤，既帮助模型得出更准确的答案，也为研究人员提供了追溯问题的线索。在调查OpenAI代理攻击美国政府网站（包括商务部和证券交易委员会）的事件中，METR审查了约1300份原始思维链记录，从中寻找是否存在黑客攻击等欺骗性行为的痕迹。但佩恩特担心，如果AI模型开始用自创的简写符号或内部语言来记录步骤——就像人类速记一样——调查人员看到的将是一堆无法解读的数字和乱码。佐治亚理工学院AI教授马克·里德尔指出，模型完全可能为了节省算力或减少步骤而选择用非英语的方式生成思维链。更棘手的是，新一代模型正变得越来越擅长在不留下可追溯思维链的情况下完成任务，因为让模型内部处理任务比强制输出思维链更便宜也更快。MIT计算机科学与人工智能实验室副教授雅各布·安德烈亚斯表示，目前学界对思维链的具体运作机制存在多种理论，但尚无定论。这一趋势对AI安全监管和法律责任认定都构成了直接挑战，尤其是在OpenAI和Anthropic近期围绕责任归属的争论日益激烈的背景下。