llm-d 1.0推动开放、低成本AI推理迈向生产规模

大模型推理的成本难题，正在被一个开源项目正面拆解。10月20日，由红帽、IBM、谷歌云、CoreWeave和英伟达于2025年联合发起的llm-d项目发布1.0正式版。这个项目目前由云原生计算基金会（CNCF）托管，定位是帮企业在生产环境中更高效地部署和扩展大语言模型推理。按照官方说法，llm-d 1.0整合出一套经过验证的分布式推理核心，可以支撑"第二天运维"级别的生产部署，也就是系统上线之后日常运行、扩容、升级这些真正考验工程能力的环节。项目方还给出了两组数据：在上下文密集的智能体类负载中，成本最多可降低5到10倍；输出吞吐量最高提升3倍。 这件事的背景是，越来越多企业发现，把AI真正跑起来，难度和烧钱程度不亚于训练模型本身。尤其是智能体（Agent）应用兴起后，负载形态变了：模型要反复读取和复用大量上下文，多个智能体并行工作时流量还会突发式暴涨，管理这些上下文消耗的资源往往比生成最终答案还多。llm-d 1.0针对的正是这些痛点，新版本加入了多租户服务质量控制，让延迟敏感的请求和突发的智能体任务在同一集群里共存而不互相挤占；路由层支持热备和滚动升级，升级维护期间流量不中断；把预填充和解码副本作为一个逻辑单元统一管理，让分离式推理真正能落地生产；还提供稳定的v1配置API和经过多云、多加速器验证的请求链路，方便企业把它作为标准底座。此外，新版本支持会话感知路由，多轮对话会被尽量留在缓存上下文附近，减少重复计算。对跨境卖家和出海团队来说，这类基础设施的成熟意味着自建AI应用（比如客服机器人、商品文案生成、广告投放智能体）的推理账单有望明显下降，不必再完全依赖按token计费的闭源API。llm-d目前已兼容vLLM和SGLang等主流模型服务器，并获得了前沿模型实验室、大型云厂商、新兴云服务商和多家大企业的采用。