欢迎Muse Spark开放:Meta开源前沿多模态混合专家模型
14 小时前 1 阅读来源:HuggingFace Blog
AI 中文改写
原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接
Meta在HuggingFace上放出了Muse Spark Open,这是目前美国开源权重阵营里能力最强的大模型,也是Meta第一次把混合专家(MoE)架构做到这个量级。模型总参数约8160亿,每个token只激活约420亿,上下文窗口最高支持100万token,能同时处理文字、图片、音频和视频输入,输出统一为文本。换句话说,开发者可以用同一个接口,让模型读截图、听语音、看录屏,然后围绕这些内容回答问题或直接干活。
Muse Spark Open的定位很明确:面向智能体编程(agentic coding)。Meta说它是用真实开发者工作流训练出来的,比如跨文件重构、长时间调试,模型能在长任务里自己规划、执行、观察、纠错,甚至带着图片去浏览网页。架构上,语言模型有62层,隐藏维度8192,每层256个专家、每个token选8个,专家占了全部参数的约97%。这意味着部署时显存要按8160亿参数的模型来准备,但推理速度接近420亿参数的模型。BF16版本约1.5TB,需要4个节点、每节点8张H200(张量并行TP=32);NVFP4版本用4位精度存储,精度损失可忽略,专为英伟达Blackwell GPU设计,单台B200节点就能跑。
对国内出海团队和AI从业者来说,这件事有两层影响。第一,开源权重意味着可以自己部署、微调,不必完全依赖API,数据合规和成本控制上多了一个选项,但1.5TB的BF16权重和H200集群的门槛摆在那里,中小团队更现实的路径是等量化版本或云厂商托管。第二,多模态加超长上下文加智能体编程的组合,正好踩在跨境电商的典型场景上:批量处理商品图、分析竞品视频、自动生成多语言listing、让模型直接读后台截图排查问题。Meta同时给出了llama.cpp、vLLM和SGLang的部署方案,说明它想推的不只是模型本身,还有一套可落地的推理生态。和8月发布的小型稠密模型Muse Glimmer相比,两者共用同一套tokenizer和词表,chat模板也延续下来,只是为新增模态做了扩展,这对已经基于Glimmer做本地化尝试的开发者来说,迁移成本会低不少。
这篇文章对你有帮助吗?
觉得有用?分享给更多人
留言 · 0 条
暂无留言,来说两句吧
