在8个NVIDIA DGX Spark节点上运行前沿级AI模型

英伟达在柏林GTC大会上宣布，DGX Spark正式支持八节点集群，统一内存最高可扩展到1TB。这意味着开发者可以在本地桌面上运行此前只有数据中心才能承载的前沿级大模型，包括Z.ai的完整版GLM 5.3（753B参数）。配套的NVIDIA Sync软件将通过Cluster Assistant简化集群搭建与设备管理，八节点集群支持预计年底前上线。 八节点集群最大的价值在于内存。单台DGX Spark提供128GB统一内存，四台达到512GB，八台则达到1TB。这个容量门槛直接决定了一类模型能否启动——GLM 5.3完整版在NVFP4精度下约占用470GB，四节点系统根本跑不起来。英伟达实测在八节点集群上运行GLM 5.3 Flash，生成速度约80 tokens/秒，足以支撑交互式本地开发。完整版GLM 5.3在八节点集群上的测试数据显示：单并发时预填充1600 TPS、解码31 TPS；八并发时总解码吞吐提升到67 TPS，单用户降至18 TPS，呈现出典型的吞吐与延迟权衡曲线。 除了内存，英伟达还针对Spark集群优化了通信后端。张量并行推理中all-reduce等集合通信操作占用大量时间，英伟达评估的RoCEnante后端采用全对全交换加本地归约的方式，用单个GPU内核完成协调，减少了通信步数。在八节点、Qwen3.8-27B-NVFP4模型的测试中，RoCEnante带来4.43倍加速，而未启用时为3.05倍，扩展效率提升约45%。不过这一方案牺牲了带宽效率——每个节点都要向所有对端发送完整输入，消息或节点规模增大后开销会迅速上升。英伟达明确表示，高并发、大规模集群或环形拓扑场景下，NCCL仍是更优选择。该后端已合并进FlashInfer。 对跨境电商卖家和出海创业者而言，这一进展的实际意义在于：本地跑前沿模型的门槛从机房降到了桌面，多智能体编排、模型链式调用等复杂工作流的硬件成本有望进一步下探。