AI评分 一般 (66)AI 中文改写

英伟达Nemotron 3.5 Transcribe与Granary v2:可提示适配的智能多语言转录

3 小时前 1 阅读来源:HuggingFace Blog

AI 中文改写

原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接

英伟达在Hugging Face和ModelScope上发布了一款开放权重的语音模型Nemotron 3.5 Transcribe,把转录、说话人识别、翻译和音频问答四件事塞进了同一个检查点。按照官方说法,这是目前开放权重模型里英语转录成绩最好的一款,在Hugging Face开放ASR排行榜上排名第一,同时进入了Artificial Analysis的"准确率—活跃参数"前沿区间。在说话人识别任务上,它在David AI的21语言说话人日志排行榜上错误率最低,在VoiceArena的14系统对比中排名第一。 这款模型的能力边界值得拆开看:支持40种语言转录,其中31种可与英语互译,13种语言支持说话人标注;单次可处理长达一小时的录音,最多标记8个说话人。更关键的是"可提示"——开发者可以用自然语言直接指挥输出,比如"转录这段录音并标注每个说话人""把这段音频翻译成英语""这次会议做了哪些决定"。对于医疗等专业场景,还可以在提示里预先给出术语表(如HbA1c、二甲双胍),要求模型仅在音频支持时使用这些词并保留标准医学拼写。模型卡里附带了推荐预设、完整提示指南和按任务划分的语言支持矩阵,需要提醒的是音频问答功能仅用英语训练。 配套发布的还有Granary v2多语言数据集和可复用的数据整理流水线,加上NeMo Speech微调工具,把"提示级控制"延伸到了训练环节——开发者可以定义自己需要的书面形式,让模型适配实际遇到的语音口音和词汇。英伟达给出的医疗案例显示,在留出的说话人测试集上,微调后词错误率相对最佳提示方案下降了45.8%。对跨境电商卖家和出海团队来说,这意味着多语言客服录音、海外会议纪要、直播内容本地化这些场景,多了一个可私有化部署、可按行业术语定制的选项。英伟达表示量化版本即将推出,模型可跑在RTX Spark、DGX Spark、Jetson AGX Thor等本地设备上,也能在Blackwell数据中心GPU上扩展。不过官方也提醒,和任何语音模型一样,人名、说话人切换和问答结论仍需对照原始录音抽查。

以上为 AI 中文改写版本,如需查看英文原文请访问

英文原文 · HuggingFace Blog

内容版权归原作者及 HuggingFace Blog 所有

这篇文章对你有帮助吗?
觉得有用?分享给更多人

留言 · 0 条

暂无留言,来说两句吧

留言经合规过滤后展示,禁止违法内容