SageMaker AI小模型推理基准：G7对比G5与G6

AWS官方近日发布了一项针对小规模大语言模型推理性能的基准测试报告，对比了新一代G7实例与上一代G5、G6实例在SageMaker AI上的实际表现。这项测试聚焦于两款具有代表性的300亿参数MoE（混合专家）模型，分别在编码助手和企业AI助手两大真实场景下进行验证，为正在部署生成式AI应用的开发者和企业提供了重要的选型参考。 这项测试的核心背景在于，GPU实例的选择直接决定了LLM推理的成本和效率，而每一代硬件升级带来的收益并非固定不变，实际效果取决于模型架构、量化格式和工作负载特征。AWS此次重点展示了搭载NVIDIA Blackwell架构GPU的G7实例，在吞吐量、延迟和单token成本上相较于前代产品的可量化优势。测试采用了两种互补的评估路径：一种是直接部署模型到不同实例上进行基准测试，另一种是通过SageMaker AI的生成式AI推理推荐功能自动完成配置筛选和优化。 编码助手场景测试结果： 在第一个用例中，AWS将Qwen3-Coder-30B部署到G5（A10G）、G6（L4）和G7（RTX PRO 4500 Blackwell）三类实例上，模拟企业级代码生成、调试和重构等任务。值得注意的是，G5和G6配置各使用4块GPU、总计96GB显存，而G7仅用2块GPU、64GB显存。这意味着G7在加速器数量减半、显存总量减少三分之一的情况下，依然实现了更优的性价比表现，这对于追求成本效益的卖家和技术团队来说是一个关键信号。 企业AI助手场景测试结果： 第二个用例针对NVIDIA Nemotron-3-Nano-30B-A3B-NVFP4模型，覆盖推理、问答、摘要和智能体工作负载。AWS在此场景中引入了G6e（L40S）作为对比，并借助生成式AI推理推荐功能自动完成基准测试和配置选择。测试结果显示，G7在12xlarge规格下仅用2块GPU和64GB显存，就与使用4块GPU、192GB显存的G6e形成了有力竞争，在特定工作负载下提供了更优的性价比。 对于中国跨境电商卖家和AI从业者而言，这项测试的启示在于：硬件升级的收益并非线性，选择实例时需要结合自身模型特性和实际负载进行验证，而非盲目追求最新配置。AWS此次开放的基准测试方法和推理推荐工具，降低了这一决策门槛，让企业能够基于真实性能数据而非厂商宣传来做出部署选择。随着生成式AI应用从实验走向生产，这种精细化、数据驱动的选型思路将成为控制成本、提升用户体验的关键竞争力。