Progress on provable inference for large language models - Anthropic

Anthropic本周公开了一项名为FlashProve的技术进展，试图解决大模型推理中一个长期被忽视的问题：用户如何确认响应真的来自声称的那个模型。在当前的API调用链条中，模型提供商、路由服务商、甚至中间环节的攻击者，都有可能在不被察觉的情况下替换模型或篡改输出。Anthropic在官方博客中直言，仅凭模型输出质量来判断真伪并不可靠——即便回答看起来很优质，也无法证明它出自哪个模型。 这项技术的核心是zkSNARK（零知识简洁非交互式知识论证），一种密码学证明工具。简单来说，模型提供商先对某个模型做出密码学承诺，然后为每一次推理生成证明，用户无需看到模型权重就能验证响应确实由该模型生成。Anthropic公布的实测数据显示，在Llama 4 Maverick（4000亿参数的混合专家模型）上，单张H100 GPU生成证明的速度约为每秒110个token，每1024个token请求的证明大小约19MB，条件是4位量化权重加整数运算预填充。这一速度是vLLM（主流开源推理库）直接运行该模型所需GPU时间的70到95倍，而此前开源系统的速度要慢上几个数量级。 值得注意的几点设计取舍：证明过程会隐藏模型权重，但不隐藏模型架构；Anthropic坦承Claude擅长优化但决策有时难以评估，因此用Lean（一种形式化验证语言）对声称的安全保证写了顶层可审计声明，并提供了C++快速验证器和Lean可证明正确验证器两套方案。所有代码、Lean证明和文档以Apache 2.0许可证开源。 对跨境电商卖家和AI工具用户而言，这项技术短期内不会直接改变日常运营，但它指向一个正在成形的需求：当AI调用链条越来越长、中间商越来越多时，模型来源的可验证性会成为合规和信任的基础设施。Anthropic明确表示这只是中间进展而非完整研究议程，主动开源是希望其他人接手改进。对于需要向客户或监管方证明“我们用的是某特定模型”的出海企业，这类可验证推理方案未来可能成为工具箱中的一项。