AI工具AI评分 一般 (65)AI 中文改写

欢迎Beam:可拥有、定制和扩展的501B开放模型

1 天前 1 阅读来源:HuggingFace Blog

AI 中文改写

原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接

美国AI实验室Reflection近日在Hugging Face上发布了其首个开源模型Beam,采用Apache 2.0许可证,允许企业和开发者自由使用、修改和商用。这是一个混合专家(MoE)架构的大模型,总参数量达到5010亿,但每个token实际激活的参数量仅为230亿,这意味着它在保持前沿级模型能力的同时,运行成本更接近一个小得多的模型。Beam支持文本输入输出,上下文窗口高达100万token,主打编程和智能体(Agent)场景,面向那些希望在自己的硬件、基础设施或云上部署前沿级模型并进行定制化的团队。 Beam的技术设计有几个值得关注的细节。它共有52层,每层MoE包含256个专家,每个token路由到其中8个。注意力机制上,大部分层采用滑动窗口注意力(只关注前512个token),每第六层和最后一层才做全上下文注意力,这样在长文本场景下能显著降低计算开销。模型还支持跨轮次保留推理上下文(preserve_thinking)、带专用语法的工具调用,以及五档推理强度调节(low、medium、high、xhigh、max)。配套方面,Reflection为Beam开发了基于Rust的专用推理框架,并提供了transformers、vLLM、SGLang等主流库的Day-0支持,以及监督微调(SFT)和强化学习(RL)的训练方案。模型提供BF16、FP8和NVFP4三种检查点格式,方便在不同硬件上部署。 对跨境电商卖家和出海团队来说,Beam的意义在于:过去要使用这个量级的模型能力,基本只能调用OpenAI、Anthropic等闭源API,数据要出境、成本按token计费、无法针对自身业务做深度定制。Beam的开源属性意味着,有技术能力的团队可以在自有服务器上部署,用自己积累的商品数据、客服对话、运营SOP做微调,训练出真正懂自己业务的AI助手,同时避免敏感数据外流。Reflection还宣布将向使用Beam的最佳项目发放1万美元的Hugging Face Hub额度,参与者只需在Hub上分享基于Beam构建的demo、量化版本、合成数据集、RL环境或基准测试结果即可参与评选。

以上为 AI 中文改写版本,如需查看英文原文请访问

英文原文 · HuggingFace Blog

内容版权归原作者及 HuggingFace Blog 所有

这篇文章对你有帮助吗?
觉得有用?分享给更多人

留言 · 0 条

暂无留言,来说两句吧

留言经合规过滤后展示,禁止违法内容