猎鹰-阿联酋：当大模型学会方言、文化与微妙差异

阿拉伯语其实是一个名字下的一整个语系。现代标准阿拉伯语（MSA）是新闻和教科书里的语言，但人们日常交流几乎不用它。在阿联酋，日常对话、幽默、谈判和讲故事用的都是阿联酋阿拉伯语——一种海湾方言，有自己的词汇、自己的节奏，以及紧紧包裹着它的文化。阿联酋诗歌，尤其是纳巴提诗歌，连同谚语和短篇轶事，承载着逐字直译无法保留的含义。一个只懂现代标准阿拉伯语的模型，可以把一句阿联酋方言的每个词都翻译出来，却仍然错过它真正的意思。Falcon-Emirati-7B 就是为了填补这个缺口而生的。它是在 Falcon-H1-Arabic 基础上打造的方言专用模型，目标是像母语者一样理解和生成阿联酋阿拉伯语：词汇、语气，以及背后的文化语境。 这个模型并非从零开始。Falcon-Emirati-7B 建立在 Falcon-H1-Arabic 之上，后者是今年早些时候已经为该语言创下新基准的阿拉伯语模型家族。Falcon-H1-Arabic 采用 Falcon-H1 混合架构：状态空间模型（Mamba）和 Transformer 注意力机制在每个模块内并行运行，输出在投影前融合。这种组合在长序列上带来 Mamba 的线性时间效率，同时保留注意力机制对长距离依赖的精确度，这对阿拉伯语这样形态丰富的语言尤为重要。该家族覆盖 3B、7B 和 34B 三个参数规模，上下文窗口最高达 128K 和 256K token，训练数据已涵盖现代标准阿拉伯语与多种方言（海湾、黎凡特、埃及、马格里布）以及英语和多语言数据。这给了团队一个很强的起点：一个已经广泛理解阿拉伯语、擅长长上下文、并且内置了一定方言接触的模型。Falcon-Emirati-7B 在此基础上，专门向阿联酋方言推进——那些通用阿拉伯语模型无论多强，都不会自己学会的词汇、语法和文化知识。 选择 7B 版本是有讲究的。它是这个家族里的甜点区：大到足以承载方言适配所需的细微差别，又小到让训练和推理都保持可行。34B 模型可能把质量再推高一点，但训练和服务的成本对一个方言专用聊天模型来说不划算；3B 模型则没有留出足够的空间来承载团队想要的文化和语言理解深度。7B 在质量与训练、推理成本之间给出了最佳平衡。 把通用阿拉伯语模型变成阿联酋方言专家，听起来比从头造基础模型要简单，实际并非如此。有几个因素让这件事真正困难：阿联酋方言主要是口语方言，它在网上的书面出现频率远低于现代标准阿拉伯语，甚至低于其他海湾和黎凡特方言，所以可供学习的原始文本就是更少。含义往往是非字面的，习语、谚语和诗歌引用依赖共享的文化语境，而非表面词汇。而且没有现成套路——没有一份记录完备的配方告诉你多少方言数据才够、如何与现代标准阿拉伯语和通用阿拉伯语混合、哪个训练阶段（继续预训练、SFT 还是偏好优化）对掌握一种方言最关键。