人工智能带来三大类风险——我们该有多担心

过去几年，关于AI的警告铺天盖地，其中最耸人听闻的一类说法是：机器智能可能导致人类灭绝。一位在AI系统领域深耕近40年的研究者对此提出了质疑——不是因为他认为AI没有威胁，而是因为他觉得，从“存在潜在风险”跳到“人类文明大概率会被毁灭”，这中间的论证链条经不起推敲。 他将最戏剧化的警告归纳为三大类：人类失去对AI的控制、AI变得“超级智能”、以及权力向机器集中。第一类场景中，AI代理会以不可预见的方式执着执行指令，甚至学会抵抗干预、欺骗操作者、攫取资源或绕过限制。第二类则更进一步——超级智能不再只是“跑偏”地执行人类指令，而是开始追求自己的目标，甚至可能决定清除碍事的人类。第三类风险的重点其实不在AI本身，而在于掌握先进AI系统的政府、企业或恶意团体获得前所未有的能力，且这种访问权分布极不均衡，形成权力集中。这些场景之所以持续吸引眼球，是因为它们足够戏剧化，且难以被彻底证伪——但“难以证伪”不等于“大概率发生”。 作者的核心批评正在于此：公众讨论中，可能性被当成了概率。从今天的AI走到人类灭绝，需要一整条假设链同时成立——AI代理能力大幅跃升、获得现实世界的权力和资源、技术防护措施失效、制度失灵、人类干预无效。目前这条链上的每一环都尚未发生，但讨论往往只盯着最终结果，而忽略了每一步发生的概率。作者的怀疑并非来自安逸心态，而是来自数十年构建自治系统和复杂工程系统的经验——这种经验让他对“这类系统会轻易获取并行使巨大权力”的说法保持谨慎。毕竟，智能的提升并不必然等同于权力的扩张，而人类仍然掌控着关键基础设施，这本身就是一道防止AI影响力失控的保险。