AI评分 头条 (69)AI 中文改写

Hugging Face与OpenRouter联手简化开放权重模型运行

1 天前 3 阅读来源:HuggingFace Blog

AI 中文改写

原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接

Hugging Face与AI模型路由平台OpenRouter宣布达成合作,将前者平台上的开源权重模型接入后者的统一调用网络。这意味着开发者和企业只需使用自己的Hugging Face令牌,就能通过同一套API调用Hub上由服务商托管的各类开源模型,系统会自动为每次请求挑选当前性价比最高的服务商。 这次合作的核心变化在于路由层的切换。Hugging Face原本使用自研路由器分发推理请求,现在改为直接采用OpenRouter的路由系统。OpenRouter目前每月处理超过800万亿个token,覆盖80多家服务商的600多个模型,其路由逻辑不再只看标价最低,而是综合实时价格、速度和可靠性做动态选择——某个服务商变慢或出错时,流量会自动转移,失败的请求会在同一次调用中由次优服务商重试。据OpenRouter测算,新路由将容量错误减少了46%,首token时间改善16.9%,吞吐量提升16.3%。对开发者而言,代码无需改动,且路由具备缓存感知能力,同一段对话会尽量留在持有其提示缓存的服務商上。用户还可以在模型ID后加后缀来指定策略,例如":fastest"追求最高吞吐、":cheapest"追求最低价格,或直接锁定某一家服务商。 背景数据说明了这次合作的分量。OpenRouter统计显示,开源权重模型在其平台处理的token占比从2025年10月的26.8%一路升至2026年9月底的71.7%,7月峰值曾达77.5%;同期开源模型的周调用量增长超过60倍,闭源模型增长不到10倍。成本差距是主要驱动力:开源模型平均每百万输入token收费0.28美元(约合人民币2元)、输出1.62美元(约合人民币11.6元),闭源模型则分别为1.27美元和6.36美元,约为前者的四倍。当然,最强开源模型在硬核基准上仍落后于顶级闭源模型——在Artificial Analysis智能指数上,表现最好的开源模型Kimi K3.1 Pro得分46,Claude Fable 5.2为65,但前者单任务成本约3.68美元,仅为后者26.54美元的七分之一。对大量成本敏感的推理场景来说,这个取舍是划算的。目前OpenRouter上使用量最高的模型正是开源模型DeepSeek V4.1 Flash 1017,处理了59.2万亿个token。

以上为 AI 中文改写版本,如需查看英文原文请访问

英文原文 · HuggingFace Blog

内容版权归原作者及 HuggingFace Blog 所有

这篇文章对你有帮助吗?
觉得有用?分享给更多人

留言 · 0 条

暂无留言,来说两句吧

留言经合规过滤后展示,禁止违法内容