专用SLM词汇表如何在真实应用中降低77%推理成本

大模型分词器通常被视为基座模型的固定属性，继承下来后很少改动。但对于只服务单一领域的专用模型来说，分词器恰恰是最大的成本杠杆之一，而且它在任何训练步骤之前就已确定。Dharma-AI团队在HuggingFace博客上披露，他们用一套名为VocabX的方法重建了生产环境中葡语作文评分器的词表，在基座模型、数据和训练配方完全不变的情况下，实测推理成本下降了77%。 这套评分系统基于Qwen3-4B构建，接收作文、题目和辅助文本，输出包含各项能力评分与评语的JSON结果。模型本身只有40亿参数，也已经针对任务做过训练，但分词器仍是Qwen3-4B的原始版本——为多语言、多类型文本设计。实际使用时它只处理葡语和一种固定的输出格式，于是产生了两重浪费。一是碎片化：评分器每次响应都以相同的JSON外壳、相同的能力名称、相同的评价短语开头，这些高频重复序列被拆成多个token，本可一个token解决，而模型每次请求都要为它们付费。二是冗余：词表里挂着151669个条目，其中大量是这项任务几乎用不到的，模型每生成一个token都要对全部条目计算一遍分数。一个只评美国中学生物试卷的模型几乎不会写中文，却要在每一步为每个中文token算概率。 团队强调，token数量不等于账单。推理分两个阶段：预填充阶段模型一次性处理全部输入，从GPU内存读出的每个权重被所有输入token复用，瓶颈在算力；解码阶段则逐个生成token，每个token都需要完整跑一遍网络，这才是成本高昂的部分。VocabX的思路因此不是按词频、而是按每个token的实际成本来定制词表。文中数据来自仍在评审中的论文当前版本，正式发表前可能还有变动。对做垂直领域微调的出海团队而言，这意味着在动手训练之前，先审视继承来的分词器，可能比换模型或加数据更省钱。