180B参数32GB内存:Transformers极限推进MoE推理
1 天前 3 阅读来源:HuggingFace Blog
AI 中文改写
原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接
一位开发者用一台32GB统一内存的MacBook M5,把180B参数的MoE(混合专家)模型跑了起来,token生成速度与专用推理引擎Strata的差距缩小到6%以内。这个实验来自HuggingFace博客作者Tarek Ziadé,他原本只是想找一种更省内存的方式在本地运行大模型,结果把Transformers的推理卸载能力推到了极限。
事情的背景是:MoE模型的权重里,专家层占了90%以上,但每个token实际只激活其中少数几个专家。Strata这类推理引擎的思路就是只把“热专家”留在显存里,其余放到内存甚至硬盘上,因此180B的模型也能在显存小得多的显卡上跑。作者对比了llama.cpp、vLLM和Transformers三家的卸载策略:llama.cpp把专家留在CPU上算,权重不过PCIe,但内存不够时页面缓存会剧烈抖动;vLLM把权重固定在锁页内存里通过PCIe读取,但没有缓存机制,每个token都要重新搬运热专家,也不支持硬盘层级;Transformers则通过Accelerate按模块整体搬运,一个MoE层就是整个专家库,每个token都要把整层专家拷到GPU上却只用其中8到10个,既无缓存也不感知路由。在Mac上更麻烦,CPU和GPU共享同一块内存,“卸载到CPU”根本释放不出空间。作者在一张24GB的A10G上实测Qwen3.6-35B-A3B,Strata的Q8_0量化版本达到每秒82到88个token,llama.cpp开启自动适配后为63到64,vLLM调优后只有20.1,原生Transformers加Accelerate仅0.16。这意味着对想在本地跑大MoE模型的开发者和出海团队来说,推理引擎的选择直接决定体验是“能用”还是“没法用”,而Transformers这条路的优化空间还很大。
这篇文章对你有帮助吗?
觉得有用?分享给更多人
留言 · 0 条
暂无留言,来说两句吧
