AI教父警告失控的“智能爆炸”

两位现代人工智能的“教父”与OpenAI、Anthropic的高管联合发出警告：各国政府必须为一场可能的AI“智能爆炸”做好准备，这或许会成为人类历史上影响最深远的技术变革。这份报告由诺贝尔奖得主杰弗里·辛顿和加拿大计算机科学家约书亚·本吉奥共同撰写，两人因在AI领域的奠基性工作被视为现代人工智能的教父。报告作者超过20人，其中包括Anthropic联合创始人杰克·克拉克和OpenAI首席科学家雅库布·帕乔基。他们敦促政界人士在技术出现失控式进展之前立即采取行动。 报告的核心担忧在于一种被称为“递归自我改进”的可能性，即AI系统能够在没有人类干预的情况下自行提升能力。报告将这一过程统称为“自动化AI研发”。作者指出，一旦AI系统在AI研发领域达到专家级能力，单个开发者就可能运营一支相当于“数百万”顶尖人类研究人员的劳动力队伍。他们认为，自动化AI研发是最可能引发智能爆炸的来源，因为AI已经在帮助改进自身技术，而改进后的系统一旦建成就能迅速部署。报告将智能爆炸描述为“AI驱动的AI进展急剧加速，把原本需要数年的进步压缩到数月甚至更短”。报告警告说，一旦智能爆炸开始，采取行动的时间窗口可能就会关闭。 为此，作者提出三项政策优先事项：要求AI相关研发提供透明的进展报告，包括在企业内部嵌入独立审计人员；设法约束飞速发展的AI开发；以及为适应智能爆炸做好准备。Anthropic和OpenAI都已同意让独立评估人员审查其模型，此前两家公司均警告AI开发在安全方面正达到临界点。Anthropic表示，AI目前已经生成了其自身80%的代码，而OpenAI在新模型训练等领域使用了自主AI代理。报告称，“初步证据表明，软件驱动的智能爆炸是可能的”，这将导致“高能力或超人类AI系统的极速发展”。 报告同时指出，虽然这可能带来医学突破和技术飞跃，但也会带来三重风险：强大的系统可能催生生物和网络威胁，其发展速度超过应对措施；随着人类越来越少参与AI研发，可能失去控制系统机会；国家可能利用智能爆炸将网络空间等领域的微弱领先转化为决定性优势。报告承认这些影响“不确定”，例如技术突破可能因需要部署而耗时。