设备端高速运行私有智能体,搭载LFM2.5-24B-A2B
1 天前 3 阅读来源:HuggingFace Blog
AI 中文改写
原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接
LiquidAI 在 HuggingFace 博客上发布了 LFM2.5-24B-A2B,一款总参数 240 亿、但每个 token 只激活 20 亿参数的推理模型,主打在本地设备上跑私密 AI 代理。这个定位切中了一个正在成型的痛点:越来越多的跨境电商卖家和出海团队想用 AI 代理处理客服、选品、订单跟进等任务,但把数据传给云端大模型既有隐私顾虑,也有持续调用成本。LFM2.5-24B-A2B 的思路是让代理完全跑在自己的硬件上,推理过程不离开设备。
核心变化:模型会先思考再回答。与上一代 LFM2-24B-A2B 不同,新版本是纯推理模型,在给出最终答案前会生成显式的思维链,并且能调用工具、完成多步任务,可接入 OpenClaw、Hermes Agent、Pi、OpenCode 等主流代理框架。架构上延续了 40 层、每层 64 专家取前 4 路由的 MoE 设计,但上下文窗口从 32K 扩展到 131K token,词表从 65K 翻倍到 128K,对非拉丁语系文本的分词更友好。预训练数据量从约 17 万亿 token 提升到约 33 万亿,后训练分五步完成,其中代理强化学习直接在真实代理框架里训练模型。
性能与效率:官方给出的数据是,在 Apple M5 Max 上推理速度达 184 token/秒,单张 NVIDIA B300 GPU 上输出吞吐最高 21K token/秒。在代理和工具调用任务上,它声称能对标 Qwen3.6-35B-A3B——后者总参数和激活参数都多出约 50%。具体到 LiveClaw 基准,LFM2.5-24B-A2B 得分 48.09,Qwen3.6-35B-A3B 为 38.19;AutomationBench 上 27.69 对 8.72,优势明显。不过在 PinchBench 上它落后于 Qwen(83.18 对 89.93),WebArena Verified 上也低于 Qwen(26.75 对 37.62),说明在部分网页操作类任务上仍有差距。
对跨境卖家的实际意义:如果你在考虑用 AI 代理自动化店铺运营,这款模型的价值在于把推理成本压到极低——每个 token 只激活 2B 参数,意味着可以长时间连续运行代理而不用太担心算力账单。同时数据不出本地,对处理客户信息、订单数据这类敏感场景更友好。但要注意,它仍是 24B 总参数的模型,本地部署需要一定显存,且官方对比的是 Qwen3.6-35B-A3B 这类更大模型,实际选型时还需结合自己的任务类型测试。模型权重已在 HuggingFace 开放,感兴趣的团队可以直接下载评估。
这篇文章对你有帮助吗?
觉得有用?分享给更多人
留言 · 0 条
暂无留言,来说两句吧
