AI评分 一般 (49)AI 中文改写

埃及和尼日利亚英语加入开放ASR排行榜

1 天前 1 阅读来源:HuggingFace Blog

AI 中文改写

原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接

语音识别评测的“口音版图”又扩了一块。HuggingFace的Open ASR Leaderboard(开放语音识别排行榜)本周宣布与数据公司Liva AI合作,新增埃及英语和尼日利亚英语两个口音测试集,全部采用私有数据,不对外公开。这意味着排行榜上此前以欧美口音为主的评测格局正在被打破,非洲和中东口音的识别能力第一次有了独立的公开对照基准。 先交代一下背景。Open ASR Leaderboard是HuggingFace社区用来横向比较各家语音识别模型的公共榜单,但长期以来存在一个隐患:如果测试数据是公开的,模型厂商就可能针对榜单“刷分”,也就是社区所说的benchmaxxing。几个月前,榜单开始引入Appen、DataOceanAI等提供的私有测试集,覆盖五种口音的朗读和对话语音,社区反馈相当积极,认为留出集(held-out set)才是可信评测的关键。此后又补了印度口音英语。这次新增的两个数据集规模不大——埃及英语约1.34小时、尼日利亚英语约1.55小时——但都是真实场景下的自发对话,转写文本带标点、大小写,并保留了口语中的停顿、重复等不流畅现象,比朗读式语料更接近实际使用。 对做语音产品的团队来说,这件事的实际影响有两层。第一,评测维度变了。榜单现在按Kachru“三大同心圈”理论重新组织口音分类:内圈(美国、英国、澳大利亚、加拿大)对比外圈和扩展圈(印度、尼日利亚、埃及),同时报告美国与非美国口音的表现差异。这个思路借鉴自Hume AI的排行榜。随着更多口音加入,外圈和扩展圈还会进一步拆分。换句话说,如果你的ASR模型要出海到中东或非洲市场,以后在榜单上就能直接看到自己在这类口音上的短板,而不是靠内部测试盲猜。第二,数据来源本身也在多元化。Liva AI的采集方式是通过真实消费者产品收集多模态交互数据,而非人工摆拍式的任务对话,这类数据更能反映用户实际说话的样子。对于正在做多语言客服、语音助手或跨境直播字幕的团队,这类基准的参考价值会明显高于实验室语料。

以上为 AI 中文改写版本,如需查看英文原文请访问

英文原文 · HuggingFace Blog

内容版权归原作者及 HuggingFace Blog 所有

这篇文章对你有帮助吗?
觉得有用?分享给更多人

留言 · 0 条

暂无留言,来说两句吧

留言经合规过滤后展示,禁止违法内容