使用AIPerf对大规模LLM推理进行基准测试 | NVIDIA技术博客

英伟达近日发布了一款名为AIPerf的开源基准测试工具，专门用于大规模LLM（大语言模型）推理性能压测。它是此前GenAI-Perf的正式继任者，但并非简单升级，而是从底层架构开始完全重写。对于正在部署大模型推理服务的团队来说，这意味着终于有了一个不会自己先成为瓶颈的测试客户端。 为什么这件事值得关注？大多数人在部署模型后想验证性能时，第一反应往往是写个curl命令、手搓一个asyncio脚本，或者让AI生成一个一次性压测工具。这些做法有一个共同的致命问题：单进程架构下Python的GIL（全局解释器锁）会限制并发能力，导致你测出来的数字反映的是客户端的天花板，而不是服务端的真实性能。更麻烦的是，这些临时工具一旦需求变化就得推倒重来。AIPerf的设计思路正是针对这些痛点：它采用多进程架构，工作进程负责生成负载，独立的记录处理服务负责收集结果，各组件之间通过ZMQ消息队列协调，从而确保压测客户端本身不会成为瓶颈。在功能覆盖上，AIPerf支持超过15种端点类型，包括对话、响应生成、NIM排名、图像生成等，同时兼容ShareGPT等公开数据集以及Mooncake、Baseten、WEKA等平台的trace回放格式。负载模式方面，它支持恒定速率、泊松分布和伽马分布三种到达模式，可以调节突发性，也支持并发数和请求速率的渐进爬坡，以及vLLM和SGLang的变长输入输出分布模拟。 对跨境电商卖家和出海创业者来说，这个工具的实际意义在于：当你需要评估自建推理服务或第三方API在高并发场景下的真实表现时，不再需要依赖不可靠的自制脚本。英伟达在官方技术博客中给出了一个完整的入门示例——用vLLM部署Qwen3-0.6B小模型，然后通过AIPerf发起精确控制输入输出token数量的压测请求。整个流程从安装到跑出结果只需几分钟，且更换模型或端点只需改一个参数。目前AIPerf已可通过uv工具直接安装，在aarch64架构上需要额外安装C编译工具链。