Cohere推出首款开发者模型North Mini Code
12 天前 8 阅读来源:HuggingFace Blog
AI 中文改写
原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接
Cohere 发布首个开发者模型 North Mini Code,专为智能体编程任务设计
加拿大 AI 公司 Cohere 今日正式发布其全新模型系列的首款产品——North Mini Code。这是一款拥有 300 亿参数、但每次推理仅激活 30 亿参数的混合专家模型(MoE),已在 Hugging Face 平台以 Apache 2.0 开源协议开放下载。该模型专为智能体软件工程任务设计,旨在让开发者能够构建更强大的代码智能体(Coding Agent)。
North Mini Code 的发布正值 AI 编程助手从“补全代码”向“自主执行任务”转型的关键节点。传统大模型擅长单轮代码生成,但在需要多步骤推理、调用终端命令、操作文件系统等复杂软件工程场景中表现不佳。Cohere 此次推出的模型专门针对这些“智能体化”任务进行了优化。在 Artificial Analysis 的编程指数(Coding Index)中,North Mini Code 获得 33.4 分,不仅超越了同尺寸的 Qwen3.5(350 亿参数/30 亿激活)、Gemma 4(260 亿/40 亿激活)和 Devstral Small 2(240 亿密集参数),甚至击败了参数规模大得多的 Nemotron 3 Super(1200 亿/120 亿激活)和 Mistral Small 4(1190 亿/60 亿激活)。这意味着跨境电商卖家和技术团队可以以更低的推理成本获得更强的代码智能体能力。
Cohere 在训练策略上做了特殊设计:没有针对单一智能体框架(scaffold)进行过度优化,而是让模型在多种框架下都能稳定工作。这使得 North Mini Code 成为 OpenCode 等开源代码智能体的理想基座模型。在架构层面,该模型采用解码器-only 的 Transformer 稀疏 MoE 结构,拥有 128 个专家模块,每次推理激活其中 8 个。其注意力机制采用 3:1 比例交错排列的滑动窗口注意力和全局注意力,前者使用旋转位置编码(RoPE),后者则无需位置嵌入,这种设计在长上下文代码任务中兼顾了效率和精度。
后训练阶段是 North Mini Code 的核心竞争力所在。Cohere 采用了两阶段级联监督微调(SFT)加可验证奖励强化学习(RLVR)的流程。第一阶段 SFT 数据中,代码相关数据占可训练 token 的 70%,其中 43% 为智能体工具调用数据,27% 为单轮竞赛或科学编程数据。第二阶段 SFT 则使用 45 亿 token 的高质量数据,仅包含智能体和推理驱动样本,代码数据占比 61%。Cohere 内部数据管道依赖容器化的智能体编程环境,共使用了来自约 5000 个独立代码仓库的超过 7 万个可验证任务。这些环境与 SWE-Bench 的仓库来源进行了去重处理,确保评估的公正性。对于中国出海企业的技术团队而言,这意味着可以直接基于该模型构建自动化代码审查、Bug 修复、CI/CD 流程优化等智能体应用,大幅提升研发效率。
这篇文章对你有帮助吗?
觉得有用?分享给更多人
留言 · 0 条
暂无留言,来说两句吧
