扩展印度语言预训练：2.8万亿词元与开放数据生成管道

英伟达联合印度理工学院马德拉斯分校（IIT Madras）及其旗下AI4Bharat实验室，发布了一套面向印度语言的大规模预训练数据集Nemotron-pretraining-Indic-v1，总规模约2.8万亿token，覆盖印度宪法列明的22种官方语言。这22种语言是97%印度人的母语，按2011年人口普查数据对应近12亿人口。数据集即将开放，同时开源的还有一套用于生成这些数据的GPU加速流水线，包含提示词、大模型工作流和质量校验的完整配方，开发者可以据此适配自己的语料、生成更多数据。 这件事的背景是印度语言技术长期落后于英语。AI4Bharat负责人Mitesh Khapra（2025年入选《时代》周刊TIME100 AI榜单）点出了核心症结：印度语言没有足够的数据。此前AI4Bharat已推出Sangraha等开源预训练语料库，为印度语言模型研究打下基础，而这次与英伟达的联合发布，把开源合成印度语训练数据的规模大幅推高。数据集把经过筛选的英语材料——包括数学、代码、问答内容——批量转化为印度语言，让团队有更多素材去训练能用这些语言解释技术概念、推演问题、回答提问的模型。每条记录都能追溯到一份经过筛选的源文档，每项输出都会与输入做比对，确保合成文本有真实信息支撑。 在语料构成上，数据集同时照顾了书写习惯的差异：22种语言全部提供本地文字数据，其中12种还提供罗马化（用拉丁字母拼写）文本，合计覆盖34种语言-文字组合。工作流把文档级翻译、质量评估和定向修复串在一起，并对公式、表格、代码等内容做保留校验。需要说明的是，这批合成数据是对自然撰写的印度语文本的补充，后者在本地知识和文化语境上依然不可替代。英伟达方面表示，开放生成配方是希望社区不仅能复现数据，还能把这项工作继续推进——团队可以直接使用语料库，也可以调整提示词和质量校验规则，或者把自己的源文档接入工作流。 对跨境电商和出海从业者来说，这套资源的直接价值在于印度市场的多语言内容与客服能力建设。印度有22种官方语言、英语普及率有限，做本地化运营时往往卡在小语种语料稀缺、翻译质量不稳上。现在有了2.8万亿token的开放语料和可复用的生成流水线，中小团队也能以较低成本训练或微调出能处理印度本地语言的模型，用于商品描述翻译、多语言客服问答等场景。此外，英伟达透露Nemotron 3.5 Super VL在持续预训练阶段已加入100亿印度语token，取自该语料库的12种语言子集及自然印度语文本，未来Nemotron系列模型也会继续基于这批语料迭代。