Mac Studio上基于MLX和RDMA的本地与分布式大型LLM推理

苹果在十月十五日发布了最新版 MLX 框架，并首次展示了在 Mac Studio 上运行近万亿参数级别大模型的完整方案。根据苹果机器学习团队公布的数据，在一台搭载 M5 Ultra 芯片、配备 512GB 统一内存的 Mac Studio 上，即可本地运行 Muse Spark Open 这一拥有 8160 亿参数的混合专家模型；若将四台 Mac Studio 通过雷雳接口的 RDMA（远程直接内存访问）驱动组成集群，该模型的生成速度可超过每秒 36 个 token，远高于人类平均阅读速度。这意味着 AI 研究者和开发者无需依赖云端算力，在自己的桌面上就能跑通前沿级别的大模型推理。 这次更新的核心看点在于硬件与框架的协同设计。M5 世代芯片新增了 GPU 神经加速器，专门支持矩阵乘法运算，这是机器学习负载中最关键的算子。苹果同时对比了 M5 Ultra 与前代 M3 Ultra 的表现，并测试了三款不同量级的模型：新发布的 Muse Spark Open（816B，MoE 架构，仅激活 420 亿参数，采用 NVFP4 四比特精度评估）、Mistral Medium 3.5（128B，稠密架构，FP8 精度）以及 Qwen 3.8（27B，稠密架构，BF16 精度）。测试指标涵盖首 token 延迟、生成吞吐量和峰值功耗，且分别考察了 8192 和 65536 两种上下文长度——后者正是智能体编程等应用场景的典型需求。对于中国跨境电商卖家和出海开发者而言，这一进展的实际意义在于：过去需要租用云端 GPU 才能完成的模型微调和推理任务，现在可以在本地硬件上以私有环境完成，既降低了长期算力成本，也规避了数据出境和隐私合规方面的风险。尤其是需要处理大量商品描述、客服对话或多语言 listing 优化的团队，本地跑大模型意味着更低的延迟和更可控的数据流向。苹果此次将 RDMA over Thunderbolt 驱动开放出来，让多台 Mac Studio 可以像一个小型计算集群一样协同工作，这为中小团队提供了一条介于单机与云端之间的中间路线。