LFM2.5-DSpark推理速度提升至3.2倍

LiquidAI 今日正式发布 LFM2.5 系列三款模型的 DSpark 草稿模型检查点，覆盖 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B。这项技术为推理过程增加了一条投机解码路径，以极小的显存开销换取显著的解码速度提升，同时不改变输出质量。实测数据显示，在 GPU 上吞吐量最高提升 3.18 倍，在端侧设备上最高提升 2.87 倍，其中 LFM2.5-2.6B 的函数调用延迟平均降低 57%，为端侧智能体推理场景扫清了关键障碍。 DSpark 的核心思路在于解决大模型推理中解码阶段的显存瓶颈问题。传统解码过程中，大部分延迟来自将权重从 DRAM 流式加载到 SRAM，而非计算本身。投机解码通过引入一个轻量级草稿模型先生成候选 token，再由目标模型在一次前向传播中批量验证，从而摊薄权重加载成本。DSpark 在 EAGLE-3 和 DFlash 的基础上整合了三大组件：基于 DFlash 风格的并行骨干网络，利用目标模型的上下文特征在一次前向传播中生成所有草稿 token 的隐藏状态；一个轻量级顺序头，通过马尔可夫链建模相邻 token 间的依赖关系，提升后续位置的接受率；以及一个置信度调度验证器，预测每个 token 的存活概率，在验证成本高于收益时主动剪枝低置信度后缀。 在训练层面，LiquidAI 采用了比原版 DSpark 更大更多样化的数据混合，涵盖 SFT、聊天、代码和函数调用数据。消融实验表明，首版草稿模型采用简化版纯注意力架构，包含 5 层解码器和 9 的块大小。每个草稿模型在完整数据集上训练 15 个 epoch，并选择接受率最高的 epoch 而非损失最低的 epoch。最终草稿模型参数量约 3 亿，相比目标模型体积大幅缩小。以 LFM2.5-1.2B-Instruct 为例，其草稿模型总参数量为 295.7M，其中解码器栈占 241.2M，隐藏状态投影占 21M，马尔可夫头占 33.6M。 质量一致性方面，DSpark 在贪心解码下保证输出与基线完全一致。草稿 token 只有在与目标模型分布匹配时才会被接受，拒绝时则由目标模型自身的 token 替代，因此生成的序列在构造上与基线贪心解码相同，基准测试准确率（pass@1 或精确匹配）不受影响。这意味着用户可以在不牺牲任何质量的前提下获得数倍的推理加速。 生态支持上，LFM2.5 的 DSpark 草稿模型发布即获得 llama.cpp 和 SGLang 的官方支持。llama.cpp 的实现基于官方代码库，并启用了实验性 Metal 内核；SGLang 的实现则直接构建在官方 DSpark 实现之上。实测中，端侧吞吐量测试使用 llama.cpp 和 Metal 在 M4 Max MacBook Pro 上进行，采用 FP16 GGUF 权重和最多 256 个输出 token；GPU 吞吐量测试则使用 SGLang 在单块 H100 80GB 上以 BF16 精度运行。两种配置均采用 DSpark 块大小 9、批大小 1、温度 0 的参数设置，并在五个基准数据集上评估。结果显示，三款草稿模型在 H100 和 M4 Max MacBook 两种部署场景下均带来明显的吞吐量提升，其中 LFM2.5-2.6B 在 MacBook 上的加速效果尤为突出，将用户可享受的交互流畅度推向了新的高度。