我们该给AI自我进化“踩刹车”吗？

美国前沿AI公司正竞相实现AI研发的自动化，但与此同时，它们似乎越来越担心一旦成功可能带来的后果。近日，美国所有前沿AI公司的超过1300名员工签署了一封公开信，呼吁政府“支持一项国际努力，以开发必要的技术和治理工具，审慎地调节自动化AI发展的步伐”。OpenAI和Anthropic的官方账号当天就发推文表示支持，Sam Altman也在同一天对采访者表示“我们可能不得不调整AI发展的速度”。 这封公开信实际上在暗示三件事：前沿AI公司已接近完全自动化AI研发；自动化AI研发将带来严重风险；建立“调节”选项，即某种程度地放慢迈向完全自动化AI研发的进程，是应对这些风险的好方法。但“调节”究竟意味着什么？这一论点是否经得起推敲？在考虑这封信是否与政府政策相关之前，我们必须先回答这两个问题。 放慢AI发展不应被轻率对待：AI的进步可能带来巨大的社会效益，从治愈疾病的新方法到丰富的机器人劳动力。然而，如果AI研究者和CEO们关于自动化AI研发的判断是正确的——既包括他们能做到，也包括这将极其危险——那么当那一天到来时，政策制定者需要做出的权衡可能会截然不同。通过充分的准备，我们或许能在管理自动化AI研发风险的同时，让AI的能力进步得更快、传播得更广。因此，尽管存在巨大的不确定性，我们仍认为美国现在应采取低风险的政策行动，为未来可能因自动化AI研发的严重风险而需要某种“调节”做好准备。 这封信的核心担忧并非空穴来风。AI已经能够设计自然界不存在的病毒，这不再是科幻小说中的场景。无论是虚无主义的人类个体、末日邪教，还是失控的AI代理本身，都可能利用这种能力释放超级病毒，在十年到二十年内消灭地球上大多数人。毁灭人类的意愿确实存在，而足够强大的AI很可能提供实现这一意愿的途径——如果不采取充分预防措施的话。但目前，没有人真正知道什么样的预防措施才算充分。这正是“调节”理念被提出的原因：故意放慢AI能力的发展，或许能为其他预防措施争取时间，比如加强生物实验室的安全、改进AI对齐等。 目前“调节”辩论面临的最大问题，是是否应限制AI被用于设计更好的AI——这通常被称为“递归自我改进”（RSI）。这封信的签署者们显然认为，RSI的威胁已经迫在眉睫，需要立即采取行动。但作为外部观察者，我们需要审慎评估这一主张的可信度，以及它是否足以证明放慢前沿AI发展的合理性。毕竟，如果AI的进步能带来巨大好处，那么任何放慢发展的提议都需要极其充分的理由。