Anthropic研究员：AI灭世概率超10%

Anthropic（人工智能公司Anthropic，旗下产品为AI助手Claude）的一位顶级安全研究员近日发出惊人警告：他相信AI在未来十年内“可能导致全人类灭亡”的概率超过10%。这一表态迅速在科技圈引发轩然大波，相关帖子在X平台（原推特）上的浏览量已突破千万次。 发出这一警告的是Anthropic的研究员Evan Hubinger，他在X上发文称，目前现有模型带来的风险“较低”，但他“担忧”技术可能很快发展到自我改进的阶段，从而对人类构成生存级威胁。Hubinger并未具体说明AI系统未来将如何导致人类灭绝，但他的言论是近期一系列关于AI风险日益严峻的警告中最新的一例——业界争论的焦点已从“AI是否真的构成威胁”转向“威胁究竟有多大”。Hubinger的发言是对另一位AI研究员Jacob Coxon帖子的回应，后者刚刚从Anthropic离职，此前也曾在OpenAI（人工智能公司OpenAI）工作。Coxon言辞激烈地写道：“两家公司都没有负责任地行事。这些很快就会成为超人类系统，能够入侵一切，一夜之间革新任何领域，并获取真正的权力和资源。” 背景与争议： Hubinger在帖子中坦言，“我们确实真诚地相信”AI对人类构成物种灭绝级别的风险，并补充道：“我相信Anthropic正在尽力，但我们还没有解决超级智能对齐问题的方案，也没有明确走在正确的轨道上。”Hubinger从事的AI对齐工作，旨在将人类的伦理观念和原则融入技术中，使其符合人类价值观。然而，许多顶尖研究者认为这些尝试似乎正在失败，今年夏天发生的一系列事件便是明证——多起AI智能体（被允许自主运行的AI系统）发动网络攻击的事件被曝光，OpenAI、Anthropic和Meta（科技公司Meta）都披露了其AI工具被黑客利用的情况。在Anthropic今年8月的安全报告中，公司承认其模型与一个假想的强大组织的意图错位、导致该组织利用或篡改其系统的风险较低，同时也承认高度能干的AI能够“执行自主”行为的风险同样较低。 行业反应与质疑： 联合国AI顾问、计算机科学家Dame Wendy Hall教授对BBC表示，她对Hubinger和Coxon的社交媒体帖子感到“震惊”。不过她也指出，其中部分内容可能是“公关和营销”手段，因为Anthropic和OpenAI正竞相筹备备受期待的股票市场首次公开募股（IPO）。但她补充道：“为什么会有人想说这种话？如果这是他们的价值观体系，我恳请投资者不要投资这家公司。”与此同时，英国前财政部首席秘书Darren Jones致信首相，呼吁达成一项新的多边条约以确保AI的安全发展。他告诉BBC，各国政府必须团结起来，“协作”制定基于超级智能发展的条约框架，“除非政府足够重视这些警告并采取行动，否则发展速度可能意味着，在我们还没开始审视这个问题是否对我们构成威胁之前，问题就已经出现了。” 另一重隐忧： 据《金融时报》报道，Anthropic拒绝将其最新模型提供给英国AI安全研究所（AISI，全球评估AI风险的主要机构之一）。Anthropic拒绝对其员工的帖子或与AISI相关的情况发表评论。英国内阁办公室发言人未就最新模型是否被扣留一事直接回应，仅表示“继续与包括Anthropic在内的行业伙伴密切合作，以使模型更加安全”。这一系列事件叠加，使得AI行业的治理与安全透明度问题再次成为公众焦点。