AI工具AI评分 一般 (57)AI 中文改写

你的专家有合作伙伴。让他们团结一心还有希望

8 天前 2 阅读来源:HuggingFace Blog

AI 中文改写

原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接

大模型省内存的新思路:专家不是孤岛,剪枝得看“搭档关系” 混合专家(MoE)架构如今是大模型扩容的主流路线,但它有个昂贵的老毛病:推理时每一层所有专家都得占着显存,哪怕绝大多数专家对当前这个词根本用不上。以Qwen3.5-122B为例,48个MoE层每层256个专家,约250GB参数内存里95%全被这些专家网络吃掉,而每个token实际只激活8个。最直接的解法是专家剪枝——把最没用的专家永久删掉,不用训练、不引入动态加载的延迟,还能和量化叠加使用,因此成了业界收缩MoE的常用手段。问题在于,怎么判断哪些专家可以安全删除。 现有剪枝方法给每个专家单独打一个重要性分数,按分数从低到高砍掉,本质是一阶方法,前提是假设专家之间互不影响。但真实情况是专家会抱团:实验中能稳定观察到一组组被同时激活的专家集群,已有研究也证实这种协作关系是MoE的固有属性,对模型表现至关重要。忽略这层关系,剪枝率一高效果就明显掉档。HuggingFace博客介绍的HOPE(专家高阶剪枝)正是针对这一点,把专家两两之间的交互纳入考量,属于二阶方法。在50%剪枝率下,HOPE的平均排名优于所有对比方法,在智能体编程任务上比次优方法最高提升6.1个百分点。对做模型压缩和推理成本优化的团队来说,这意味着同样砍掉一半专家,保留下的组合更合理,模型能力损失更小。

以上为 AI 中文改写版本,如需查看英文原文请访问

英文原文 · HuggingFace Blog

内容版权归原作者及 HuggingFace Blog 所有

这篇文章对你有帮助吗?
觉得有用?分享给更多人

留言 · 0 条

暂无留言,来说两句吧

留言经合规过滤后展示,禁止违法内容