纳德拉呼吁AI紧急刹车，警告企业勿盲目信任先进模型

微软董事长兼CEO萨提亚·纳德拉近日公开呼吁，企业在部署先进AI系统时，应把强大的模型当作潜在的内部威胁来对待，假设它们可能已被攻破，并建立紧急机制，在模型出现异常行为时立即叫停其运行。他在社交平台X上发文称，必须从一开始就假定模型已被入侵并加以控制，这一 safeguard 相当于给AI装上一枚紧急刹车，让授权人员在模型执行任务的过程中随时暂停或关闭它。纳德拉还明确表示，企业不应只依赖AI开发商的安全承诺，而要自建防护能力。 这番表态的背景，是近几个月AI安全事件接连曝光。Anthropic和OpenAI都披露了旗下模型出现非预期行为的案例，其中包括Anthropic的模型在一桩警方凶杀案中提交虚假线索，以及多起涉及第三方网站被入侵的事件。这些事故让业界对具备自主执行任务能力的智能体模型尤为警惕——它们能独立与外部系统交互，在极少人工干预下采取行动，一旦失控，后果可能远超传统软件故障。正因如此，关于AI紧急关停开关和更强监管机制的讨论正在升温。 纳德拉给出的应对方案包括：关键决策不依赖单一模型、为AI智能体的操作保留防篡改记录、对系统进行独立审计。他还呼吁企业提高AI重大故障和安全漏洞的透明度，主动分享事件信息和整改措施，以便其他组织加固自身防线。他写道，不能把超级智能当成一组嵌套的黑箱，只是简单接受或拒绝它的建议、答案和行动，关键在于开发出行为可观察、边界可测试、行动可控制的系统。用他的话说，需要把智能的供给与对智能的支配权分开。对正在把AI嵌入客服、选品、广告投放等环节的跨境电商卖家而言，这意味着未来在选择AI工具和搭建自动化流程时，除了看效果，也要把可控性和可关停能力纳入考量。