AI评分 一般 (59)AI 中文改写

深入解析Phonon TTS:推出超越基准的高质量设备端语音技术

1 小时前 1 阅读来源:HuggingFace Blog

AI 中文改写

原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接

11月5日,HuggingFace博客发布了对Phonon TTS的深度解读。这款两周前开源的小型语音合成模型,主打完全本地运行——不需要服务器、不需要联网,用户输入的文字始终留在自己设备上。Phonon提供两个规格:约65MB和75MB,合计支持英语、法语、德语、西班牙语和葡萄牙语五种语言,内置超过100种音色,用户还可以在Gradium Studio中自行创建音色。其中Phonon 31m采用Apache 2.0协议,可免费商用;Phonon 40m覆盖五种语言,采用CC BY-NC非商用许可,若用于商业产品则按用户数计费,而非按语音生成量计费。上线两周下载量已突破20万次,目前仍在HuggingFace上保持趋势榜热度。 Phonon的诞生背景值得一说。长期以来,语音AI几乎都跑在云端,每说一句话都要和服务器来回一趟,隐私和延迟问题始终存在。而要把高质量语音塞进小设备,过去只有两条路:要么模型小、音质差,要么音质好、装不下。Phonon基于Pocket TTS技术路线,采用流匹配(flow matching)生成音频,与主流TTS系统的建模方式差异很大,这正是它能在极小体积下保持高音质的关键,但也带来了训练上的麻烦——初期数值不稳定,团队用了多种技巧才在五种语言上都跑出理想效果。从4月发布到正式推出,团队花了六个月与合作伙伴和早期用户共同打磨,模型越做越小,语言和音色克隆、音色设计等能力则逐步补齐。在实际表现上,Phonon对电话号码、日期、代码这类其他TTS系统经常读错的內容处理得相当稳。它可运行在手机、笔记本、单板计算机甚至浏览器标签页中,官方演示包括:断网状态下的Apple Watch逐步指导手冲咖啡、无信号的iPhone上计数健身动作、机器人Lamp戴着分院帽角色扮演说话,以及浏览器里离线恐龙跑酷游戏变身Rex主持的电台节目。HuggingFace团队还完成了Transformers集成,开发者第一天就能在Transformers中调用Phonon;社区也已出现ExecuTorch转换版本(让Phonon跑在访客浏览器GPU上)、Node.js封装Micdrop等项目。对跨境电商卖家和出海开发者而言,这意味着语音交互功能可以低成本嵌入离线硬件或本地应用,既省下云端推理费用,也规避了用户语音数据出境的合规风险。

以上为 AI 中文改写版本,如需查看英文原文请访问

英文原文 · HuggingFace Blog

内容版权归原作者及 HuggingFace Blog 所有

这篇文章对你有帮助吗?
觉得有用?分享给更多人

留言 · 0 条

暂无留言,来说两句吧

留言经合规过滤后展示,禁止违法内容