亚马逊SageMaker AI实时端点现支持KV缓存感知路由
2 天前 1 阅读来源:aws.amazon.com
AI 中文改写
原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接
亚马逊云科技(AWS)近日为其 SageMaker AI 实时端点推出了一项名为 KV cache-aware routing(KV 缓存感知路由)的新路由策略,专门面向部署大语言模型的团队。这项功能的核心在于:模型容器会主动上报自己缓存了什么内容,端点据此把每个请求精准送到"已经缓存了该提示词较长匹配片段、且当前不太忙"的实例上,而不是像过去那样仅凭请求本身猜测该去哪里。
要理解这项更新的价值,得先看它解决的问题。聊天助手、RAG(检索增强生成)、带长系统提示词的智能体这类 LLM 应用,大量请求的开头文字是重复的。模型会把处理过的提示词计算结果存在 GPU 显存里,也就是 KV 缓存,同一段开头再次到达同一实例时就能跳过重复计算。此前 SageMaker AI 提供的 prefix-aware routing(前缀感知路由)只能根据请求本身做哈希,把开头相同的请求送到同一实例,但它看不到实例上缓存的实际状态。这带来两个明显短板:一是实例显存满了会淘汰旧缓存,路由器却仍按"缓存还在"继续派发;二是多轮对话初期请求较短,每一轮新增内容都会改变哈希结果,导致对话的后续轮次可能落到另一台没缓存前文的实例上,只有请求长度超过设定阈值后对话才会稳定在同一实例。
KV 缓存感知路由正是针对这两个痛点。开启后,容器通过环境变量 SM_VLLM_KV_EVENTS_CONFIG 在每次写入或淘汰缓存时发布事件,SageMaker AI 据此维护一份托管缓存索引。这份索引只存单向截断哈希指针,不保存提示词、token ID、请求负载或 KV 张量,隐私上相对可控。请求到达时,端点对提示词做 tokenize 并在索引中查找,得到哪些实例持有该提示词的哪部分缓存、各持有多少,再结合"缓存匹配长度"与"实例繁忙程度"做加权,选出最优实例。由于匹配基于 token 而非固定字节数,多轮对话的历史可以随增长完整命中,只共享部分提示词的请求也会被送往匹配最长的那台实例。对跨境电商卖家而言,这意味着自建或托管的 AI 客服、商品问答、多语言 listing 生成等高频重复提示场景,推理延迟和 GPU 成本都有望下降;对 AI 从业者来说,这是一次从"猜缓存"到"看缓存"的路由思路升级。启用方式并不复杂:模型侧加一个环境变量让容器上报缓存,端点配置里把 RoutingStrategy 设为 KV_AWARE,客户端调用 API 保持不变。
这篇文章对你有帮助吗?
觉得有用?分享给更多人
留言 · 0 条
暂无留言,来说两句吧
