Thinking Machines推出Inkling

来自 Thinking Machines 的 Inkling 模型正式在 Hugging Face 上开源了。这是一个拥有近 1 万亿参数（975B 总参数，41B 激活参数）的大型多模态模型，原生支持图像、文本和音频输入，并具备 1M 的超长上下文窗口。与市面上其他多模态模型不同，Inkling 并非简单地将不同模态的编码器拼接在一起，而是采用了解码器-only 的稀疏混合专家（MoE）架构，在推理时仅激活 41B 参数，兼顾了性能与效率。模型发布当天就获得了 transformers、SGLang 和 llama.cpp 等主流推理框架的全面支持，并提供了 BF16 和 NVFP4 两种精度版本，后者经过良好校准，适合在资源受限的环境下部署。 Inkling 的独特之处在于其“原生多模态”设计理念。它没有为图像和音频单独使用外部编码器，而是通过简单的层级 MLP 将图像分块（patch）映射为嵌入，并将音频通过离散化的梅尔频谱图直接处理。这种设计使得模型能够真正在图像、音频和文本之间进行跨模态推理，而不是仅仅将不同模态的特征简单拼接。在架构细节上，Inkling 使用了相对注意力机制替代了常见的 RoPE（旋转位置编码），通过直接学习注意力 logits 中的位置信息来编码序列位置；同时采用混合注意力机制，在 5 层滑动窗口注意力后插入 1 层全局注意力，最后层使用全局注意力来构建丰富的特征表示。此外，模型还引入了一个短 1D 卷积（SConv）模块来处理局部上下文，让注意力层和 MoE 模块更专注于全局特征提取。对于中国跨境电商卖家和 AI 从业者来说，这意味着 Inkling 特别适合需要同时理解产品图片、用户语音评价和商品描述文本的复杂场景，比如智能客服、多模态商品搜索和内容审核等应用。模型在 45 万亿 token 的多模态数据上训练完成，并支持通过微调进行领域适配，为构建新一代多模态推理应用提供了强大的基础。