为何每家公司都急需AI模型路由器
6 小时前 1 阅读来源:fortune.com
AI 中文改写
原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接
过去一年,不少企业被AI账单狠狠上了一课。随着Claude Code、Codex这类AI编程智能体被部署到越来越长时间、越来越自主的任务中,它们不像聊天机器人那样问一句答一句,而是能连续工作数小时,反复调用顶级模型,悄悄消耗掉数百万个token。有开发者去吃个午饭回来,发现自己的智能体已经在模型推理上花掉了数千美元。这种“账单惊吓”正在成为企业AI支出的普遍痛点。
一项新研究揭示了问题的严重性:62%的组织表示,过去一年中一笔意外的AI支出实质性改变了某项业务决策。其中40%的公司称该问题需要董事会级别介入,33%实施了紧急支出冻结,25%直接推迟或取消了AI项目。正是这种成本失控的焦虑,让AI模型路由器——一种让企业按需选择合适模型、平衡成本与性能的软件——突然成为企业技术领域最炙手可热的方向。与其把所有请求都发给最贵的顶级模型,企业现在可以手动设定或自动选择在成本、速度和性能上最优的模型组合。据称,这种智能路由能将推理成本降低两位数百分比,部分案例中甚至高达30%。
大量初创公司涌入模型路由器赛道,但打法各不相同。OpenRouter据报道正与Stripe洽谈收购,估值最高达100亿美元,它提供数百个AI模型的市场和统一网关;Not Diamond则自动将请求路由到最适合任务的模型;LiteLLM等公司让企业自建路由基础设施。Salesforce和Databricks等大厂也在把路由能力整合进AI平台,Cursor、Ramp甚至Meta据传都在自研模型路由器,连视频生成初创公司Runway也推出了自己的产品。
核心变化:智能体消耗token的速度远超预期,直接催生了这一新兴市场。OpenRouter联合创始人兼COO Chris Clark告诉Fortune,Anthropic在2025年中发布的Claude Code等工具对输出token的巨大需求是主要推手。2024到2025年间,企业高管层一直在“拍桌子”要求全员采用AI,但直到今年,随着智能体工作流的能力从聊天扩展到调用工具、对接不同系统、自主执行操作,一切才真正落地。但智能体也更“吃”token,对按token付费的企业来说,成本水涨船高。“没人提前做好预算,”Clark说,“大家都抱着一种最大化投入的心态。”但对OpenRouter来说,这反而是好事。“我们坚信AI token将成为每个企业运营支出中的一个大项,”他说,这会让几乎所有公司都寻求成本缓解。
并非每个任务都需要最聪明、最贵的模型。Clark提到一个概念叫“智能饱和”:当新前沿模型出现,你把智能体切换到最新最强的模型,性能真的提升了吗?很多任务其实已经“智能饱和”了——旧模型完全能搞定,用最新模型纯属浪费。Not Diamond的CEO Tomás Hernando Kofman也指出,目前大多数公司默认所有任务都用最强模型,这非常浪费。但他也提醒,在不合适的时机选错小模型同样可能代价高昂,因为重试和错误修复的成本有时比直接用大模型还高。对跨境电商卖家和AI从业者来说,模型路由器的核心价值在于:它不是让你放弃顶级模型,而是让你知道什么时候该用、什么时候不该用——这可能是控制AI支出最直接有效的手段。
这篇文章对你有帮助吗?
觉得有用?分享给更多人
留言 · 0 条
暂无留言,来说两句吧
