AI评分 一般 (65)AI 中文改写

Granite Speech 5.0:更准确快速转录、翻译与归属

22 小时前 1 阅读来源:HuggingFace Blog

AI 中文改写

原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接

IBM 近日更新了 Granite Speech 语音模型家族,一次放出三个版本:全新的 granite-speech-5.0-2b,以及两个社区已在使用的模型升级版 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。三个模型分工明确,分别覆盖高精度多语种转写与翻译、边缘端极速转写、以及多人对话场景下的说话人识别,基本把企业级语音处理的主要需求都装了进去。 核心看点在新模型 granite-speech-5.0-2b。它沿用 4.1-2b 的 20 亿参数量级,支持英语、法语、德语、西班牙语、葡萄牙语和日语的转写,并能在这些语言与英语之间互译,另外还支持英语转意大利语和普通话。训练数据为 39 万小时公开音频,外加针对日语识别、关键词偏置和翻译任务专门构造的合成数据。相比上一代,它在英语短音频基准上的准确率更高,对噪声、混响和远场麦克风的处理明显改善;新增的语言 ID 提示功能允许用户在提示词中指定输入语种,从而引导多语种转写;长音频和自然口语的翻译表现也更稳,不再只适用于短句朗读。关键词偏置上限提升到 2000 个词条,可以把产品名、人名和缩写词“喂”给模型,让转写和翻译向这些词倾斜,且所有支持语种通用。需要格式化输出时,在提示词里要求即可,测试集上的大写字母 F1 值在 89.7 到 99.5 之间。模型以 Apache 2.0 协议开源,支持 Transformers、vLLM、llama.cpp 以及面向苹果芯片的 mlx-audio。在 Open ASR 排行榜的公开英语短音频测试集上,它的平均词错误率为 5.06%,在开源权重语音识别模型中排第二。 另外两个升级版各有侧重。470m-turboctc 保持 4.7 亿参数的轻量体积,从原来的纯英语扩展到英语、日语、西班牙语、德语、法语、意大利语和葡萄牙语,并原生输出标点和大小写,省掉了后处理步骤,针对混响音频的专项训练也让它在回声明显的房间里更稳,适合高吞吐和端侧部署。4.1-2b-plus 则强化了说话人归属、时间戳、关键词偏置和长语音表现,面向会议、通话这类多人录音场景。对做跨境生意的团队来说,这套组合的现实意义在于:客服通话、直播回放、海外会议纪要的转写和翻译可以按场景选型,轻量模型跑在本地设备上控制成本,高精度模型处理多语种内容,多人场景则交给带说话人识别的版本。

以上为 AI 中文改写版本,如需查看英文原文请访问

英文原文 · HuggingFace Blog

内容版权归原作者及 HuggingFace Blog 所有

这篇文章对你有帮助吗?
觉得有用?分享给更多人

留言 · 0 条

暂无留言,来说两句吧

留言经合规过滤后展示,禁止违法内容