vLLM原生速度：Transformer建模后端

HuggingFace 宣布，其 transformers 库作为 vLLM 的建模后端，现在在多种大语言模型架构上的推理速度已经能够媲美甚至超越 vLLM 原生的手写实现。这意味着，模型作者无需再为 vLLM 单独编写定制化的模型代码，只需依赖 transformers 库，就能自动获得极速推理性能。用户只需执行一条命令 `uv pip install --upgrade vllm --torch-backend auto` 并添加 `--model-impl transformers` 参数，即可体验这一升级。 这一突破的关键在于 HuggingFace 对 transformers 建模后端进行了重大迭代。过去，vLLM 虽然集成了 transformers 作为建模后端，让模型作者免去了移植代码的麻烦，但为了追求极致性能，他们往往仍需为 vLLM 编写手写实现，以利用其连续批处理、自定义注意力内核等优化技术。而新版本的后端能够在运行时动态应用针对推理的层融合（layer fusions），从而在兼容的架构上匹配甚至超越手写代码的速度。为了验证效果，HuggingFace 团队将 transformers 后端与 vLLM 原生实现在三款截然不同的 Qwen3 模型上进行了对比测试：单 GPU 上的 4B 密集模型、采用张量并行的 32B 密集模型，以及在一个 8×H100 节点上使用数据和专家并行的 235B 参数 FP8 混合专家模型。结果显示，transformers 后端的吞吐量在每一项测试中都达到或超过了原生水平。 对于中国跨境电商卖家和 AI 从业者而言，这意味着部署和推理 HuggingFace 上数以千计的开源模型将变得更加便捷和高效。过去，为了在 vLLM 这类高性能推理引擎上运行一个模型，开发者常常需要等待社区或自己动手完成代码移植和优化工作。现在，只要模型代码在 transformers 库中实现，就能“开箱即用”地获得接近最优的推理速度。这极大地降低了部署门槛，尤其适合需要快速迭代和实验不同模型的场景，例如构建智能客服、内容生成或数据分析工具。不过，目前该后端尚不支持使用线性注意力（linear attention）的模型，且存放在 HuggingFace Hub 仓库中的自定义模型可能因未按规范编写而无法正常工作，但官方表示这些限制将很快得到解决。