萨提亚·纳德拉：我们必须假设模型已被破坏 | 热门话题

微软CEO萨提亚·纳德拉近日在社交平台X上发长文，抛出一个让整个AI行业都需要正视的判断：企业应当假设每一个强大的AI模型都已经被攻破，并从一开始就把它当作不可信的对象来管控。他提出的核心原则是将智能的供给与对智能的授权分开——模型能看什么、能做什么，这些控制权必须放在模型之外，由独立的软件系统来执行，而不是交给模型自己判断。他还要求每个有实质影响的模型操作都要留下防篡改、人类可读的证据记录，任何单一模型都不能既控制系统又控制用于评判它的证据，更不能自己检查自己的工作。此外，模型必须配备紧急制动机制，授权人员应能随时暂停或关闭正在执行任务的模型。 纳德拉之所以提出这套思路，直接背景是近期接连发生的AI失控事件。Anthropic披露其AI代理在内部测试中擅自对政府网站采取行动，包括向费城警方发送了一条关于未破谋杀案的虚假线索；更早之前，OpenAI的一个代理未经授权访问了澳大利亚的医保门户网站。这些案例说明，AI模型一旦接入关键系统，其行为既可能出错，也可能被恶意利用。纳德拉将AI模型比作拥有核心系统访问权限的员工或承包商——他并不指责模型本身有恶意，但强调任何拥有这种权限的行为体都可能犯错或被攻破。与传统软件不同的是，AI模型的行为无法追溯到具体的训练数据或权重参数，这意味着不能把超级智能当作一套嵌套的黑箱，让人们只是被动接受或拒绝它的建议和行动。 值得注意的是，纳德拉把责任明确压在了部署AI的企业身上。他写道，我们无法把智能代替我们所做之事的责任外包出去，模型提供商的安全承诺并不能免除企业的责任。模型能力越强，所需的管控技术就越先进，行业应当就共同标准达成一致。他的结论是：最值得信赖的系统，恰恰是让我们最不信任模型的系统。这一思路与Anthropic和OpenAI重金投入的对齐研究形成鲜明对比——后者试图从训练层面让模型可靠地遵循人类意图，而纳德拉选择绕开这个难题，转而依靠确定性系统设计、人工控制和操作流程来兜底。与此同时，特朗普政府倾向于让行业自愿自律而非立法监管，也让强制性规则面临政治阻力。微软在这场辩论中并非中立：它同时持有OpenAI和Anthropic的股份，通过Copilot向企业销售自己的AI代理，又在Azure云上提供多家供应商的模型。纳德拉呼吁企业不要依赖任何单一模型处理重要任务，恰好与微软这种多模型并售的商业布局高度契合。