利用用户洞察识别AI模型过度使用 | Cloudflare博客

Cloudflare 在其 AI Gateway 中上线了一项名为 User Insights 的新功能更新，核心是帮企业识别"AI 模型用过头"的情况。简单说，就是当你的团队把 AI 请求都走 Cloudflare 的网关之后，系统现在能告诉你：哪些请求其实用不着那么强的模型，哪些用户或 AI 代理（agent）在过度消耗资源，以及这些消耗到底花在了什么类型的任务上。这项能力对 AI Gateway 用户免费开放，同时配套的 Auto Router 也进入了公测阶段。 这个功能解决的是一个很实际的痛点。很多团队把内部 AI 流量接入网关后，过几周会发现账单在涨、部分请求变慢，但光看 token 数和请求次数根本说不清原因——可能是开发者在用 AI 处理越来越复杂的编码任务，也可能是 agent 为了完成一个任务反复调用模型，还可能只是少数几个用户或 agent 吃掉了大部分额度。同样的 token 消耗，背后可能是代码审查、资料研究，也可能是 agent 的多轮调用，工作量完全不同。Cloudflare 这次加的"上下文"维度，就是让团队看到任务、模型、成本和对话轮次之间的关系。比如系统可能发现，有人把简单的格式整理或摘要任务发给了高能力推理模型，那团队就可以顺着这条线索去查：是默认设置没改，还是用户不知道该选哪个模型，或者是 agent 被配置成每一步都用同一个模型。需要说明的是，这个"过度使用"视图并不是排行榜，也不会自动推荐你换模型，它的作用是帮团队问出更好的问题——这个模型配这个任务合适吗？多出来的能力真的提升了结果吗？换个更快更便宜的模型效果会不会一样？配合新推出的 Potential Savings 视图和 Auto Router，团队可以在不牺牲输出质量的前提下，把那些本可以用轻量模型处理的请求自动路由过去，从而降低成本。