LFM2.5编码器：CPU上快速长上下文推理

LiquidAI 发布两款轻量级编码器模型，专为 CPU 上的长文本推理优化，让跨境电商卖家无需昂贵 GPU 即可处理合同扫描、意图识别等任务。 事件背景：随着跨境电商和 AI 应用场景的深入，卖家需要处理越来越长的文本——从产品描述、客户邮件到完整合同。传统 BERT 类模型在长文本场景下推理速度急剧下降，而 GPU 成本高昂。LiquidAI 此前推出的 LFM2.5-Retrievers 专注于搜索，但实际生产环境中，分类、意图路由、安全过滤等任务同样依赖编码器模型。为此，团队基于 LFM2.5 架构开发了通用型编码器 LFM2.5-Encoder-230M 和 LFM2.5-Encoder-350M。 核心变化：这两款模型从 LFM2.5 解码器骨干网络初始化，通过双向注意力掩码、对称短卷积和 30% 掩码语言建模改造为编码器。训练分两阶段：先在 1024 token 上下文的大规模网络语料上学习通用语言能力，再扩展到 8192 token 上下文，强化事实、法律和多语言处理能力。基准测试显示，350M 参数版本在 GLUE、SuperGLUE 和多语言分类任务上排名第四，前三名均为更大模型（包括一个 3.5B 参数模型）。230M 版本则击败了 ModernBERT-base 和所有 EuroBERT 模型。 对卖家的影响：推理速度是关键。在 CPU 上，230M 版本在所有序列长度下均最快，8192 token 输入时每次前向传播仅需约 28 秒，而 ModernBERT-base 需要超过 90 秒，速度提升约 3.7 倍。这意味着卖家可以用现有服务器或普通电脑，全天候运行意图路由、政策合规检查、PII（个人身份信息）检测和文本分类等任务，无需额外 GPU 投入。例如，扫描一份完整合同或分类大量客户咨询邮件，成本将大幅降低。LiquidAI 已开源完整框架和原始结果，开发者可直接在 Hugging Face 下载使用。