AI工具AI评分 一般 (65)AI 中文改写

中国AI模型在新排名中落后于Anthropic和OpenAI

16 小时前 1 阅读来源:businessinsider.com

AI 中文改写

原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接

知名独立评测机构Artificial Analysis最近大幅调整了AI模型测试体系,结果让不少人大跌眼镜:在更贴近真实使用场景的新标准下,中国开源权重模型与美国顶尖模型的差距从原来的3分骤然拉大到12分。其中,以公开权重模型中的领先者月之暗面Kimi K3.1 Pro为例,其得分仅为32分,而当时的总榜领先者Anthropic的Claude Opus 5.5则拿到58分。更值得注意的是,连Anthropic自家较小的Claude Haiku 5.5都超过了所有公开权重模型。这一结果直接动摇了此前市场的一个核心担忧——便宜、可自由下载的中国AI模型是否会侵蚀OpenAI和Anthropic的高价商业模式。 这次排名变化的关键,在于测试方法本身的改革。Artificial Analysis将大量测试题目转为不公开,防止AI公司针对已知考题进行专项训练。Snowflake CEO、前谷歌高管Sridhar Ramaswamy在X上点出了要害:“基准测试转私有的那天,开源模型差距就从3分变成了12分。到底是开源模型在追赶,还是测试在泄题?”这种针对公开基准“刷分”的做法,被微软CEO萨提亚·纳德拉等人称为“基准测试作弊”。当考题保密后,真实能力差距才暴露出来,尤其是在复杂科学任务上。开源模型阵营内部也有人承认问题存在,研究开源大模型的Trillium Labs联合创始人Nathan Lambert就表示,此前的指数确实“过于美化开源权重模型”了。 另一个被忽视的角度是实际使用量。软件开发公司OpenCode联合创始人Dax Raad通过分析开发者常用的模型调用平台OpenRouter的流量发现,前一天经由该平台的全部DeepSeek流量,大约只需一组英伟达高性能计算机机架就能承载,硬件成本约600万至700万美元。对于引发如此巨大关注的中国AI模型来说,这个算力规模小得令人意外。当然,OpenRouter只代表市场的一部分,不能完全反映开源模型的全部需求,但它至少提示:讨论“威胁”时,下载量和实际调用量之间可能存在巨大落差。对跨境卖家和AI工具用户而言,这意味着在选择模型时,榜单排名和真实场景表现之间的差距值得更谨慎地对待,而投资者对Anthropic计划IPO及OpenAI未来上市的估值逻辑,也可能因此获得更多支撑。

以上为 AI 中文改写版本,如需查看英文原文请访问

英文原文 · businessinsider.com

内容版权归原作者及 businessinsider.com 所有

这篇文章对你有帮助吗?
觉得有用?分享给更多人

留言 · 0 条

暂无留言,来说两句吧

留言经合规过滤后展示,禁止违法内容