用LFM3构建专业多模态模型

LiquidAI 近日发布第三代液态基础模型 LFM3，把文本、视觉、音频、全模态和决策五类模型统一到同一个 2B 参数级别的底座上。按照官方说法，这套模型的核心卖点是"单卡微调、端侧部署"——开发者选中对应模态的模型后，用一块 GPU 就能在自己的数据上做微调，然后直接跑在应用所在的地方，不必依赖云端推理。 LFM3 相比上一代 LFM2 家族有四个明显变化。其一是参数效率提升：新的三混合架构和训练配方让 LFM3-1.7B 在参数比 LFM2.5-2.6B 少 35% 的情况下实现性能反超。其二是所有模态共用一套底座，六个 2B 级模型全部从 LFM3-1.7B-Base 训练而来，其中包括 LiquidAI 首个全模态模型，视觉模型也新增了视频输入能力。其三是面向边缘设备优化：文本模型在 4 位精度下体积约 1GB，自研的视觉和音频编码器加快了处理速度，文本模型 256K 的上下文窗口则让智能体可以直接在设备上运行。其四是可定制性，每个模型都支持单卡微调，方便适配企业自有数据、行业术语和部署环境。 架构层面，LFM3 延续了 LFM2"短卷积加注意力"的混合路线，但通过硬件在环的架构搜索针对智能体场景重新设计，搜索范围覆盖 14 种设备和后端组合，从手机、树莓派 5 到笔记本、云 CPU、GPU 以及高通 Hexagon NPU。LFM3-1.7B-Base 共 24 层，采用 13 层门控短卷积、5 层 256 token 窗口的滑动窗口注意力和 6 层全局注意力的三混合结构，卷积核大小从 LFM2 的 3 提升到 7，并引入按头门控注意力机制，让某个注意力头在无信息可补充时自动关闭，以抑制激活值膨胀。 对跨境电商卖家和出海团队来说，这类小参数、可单卡微调的多模态模型意味着一条低成本路径：用自己店铺的商品图、客服对话和本地化语音数据微调后，模型可以跑在本地设备或边缘服务器上，既降低 API 调用成本，也规避数据出境和隐私合规风险。不过 2B 级模型的能力边界仍在，复杂推理和长文档处理场景是否够用，还需要结合实际业务测试。