SageMaker 实时推理支持 KV 缓存路由
SageMaker AI 可把推理请求发给拥有最长提示词缓存匹配的实例。文章对比了前缀感知路由,并说明如何在单模型端点和推理组件端点上启用与验证新策略。
AI 深度解读
同一段对话历史刚在 GPU 上算过,下一轮请求换一台实例,就可能再算一遍。Amazon SageMaker AI 给实时端点加了 KV_AWARE 路由,让端点先查哪台实例还缓存着这段上下文,再结合负载决定把请求发给谁。AWS 的两组实测都显示,长上下文反复复用时,首 token 可以更快返回。对已经在用 PREFIX_AWARE 的团队,真正要验证的是切换后还能省多少。
路由怎么知道哪台 GPU 还有缓存
模型处理输入时,要先做一遍预填充(prefill),计算提示词对应的注意力键和值,并把它们留在 GPU 的 KV 缓存里。后续请求只要从相同的 token 序列开始,而且落到仍保留这段缓存的实例,就能跳过已算过的前缀。聊天每轮重发历史,RAG 多次附上同一份资料,省下的都是这段生成前的工作。
PREFIX_AWARE 用请求开头的哈希来选实例。PrefixLength 对 InvokeEndpoint 按载荷字节数计,对 OpenAI 兼容 Chat Completions API 按消息文本字符数计。对话还短于这个长度时,每轮新增内容都可能改变哈希,把下一轮送到别处。即使哈希稳定,GPU 内存紧张时也会淘汰缓存,路由仍可能把请求送回原来的实例。
KV_AWARE 则由容器在写入或淘汰缓存时上报事件,SageMaker AI 据此更新托管索引。索引只保存截断的单向哈希及其对应的实例或推理组件副本。新请求先分词,再按 token 查实际缓存的最长前缀。原文举了个例子,对话第 4 轮有 6,200 个输入 token,实例 A 缓存了前 6,000 个,命中后只需预填充剩下的 200 个。
路由还会权衡实例有多忙。最长匹配的实例太忙时,会考虑仍可用的次优匹配。查找太慢、没有有效匹配、匹配实例都忙,或请求无法分词时,通常会退回与 LEAST_OUTSTANDING_REQUESTS 相同的按负载路由。短提示词的查找耗时为几毫秒,长提示词主要多花在分词上。符合标准选项的纯文本请求可以把分词结果直接交给模型。
两处配置打开功能,调用方沿用原 API
上线时支持 AWS vLLM Deep Learning Container,要求 vLLM 0.33.0 或更高版本,或 Amazon Linux 构建 server-sagemaker-cuda-v2.8.0 或更高版本。GPU 实时端点要有至少两台实例,或至少两个推理组件副本,后者可以在同一台实例上。只有一个目的地时可以设置 KV_AWARE,流量仍全部发往该实例或副本。动态 LoRA 场景下,路由只在已加载对应适配器的实例中选择。
创建模型时,把下面的配置加到容器环境里,容器才会上报缓存写入和淘汰事件。
"Environment": {
"SM_VLLM_MODEL": "<model-id-or-/opt/ml/model>",
"SM_VLLM_KV_EVENTS_CONFIG": "{\"enable_kv_cache_events\": true, \"publisher\": \"zmq\", \"endpoint\": \"tcp://*:5557\", \"topic\": \"kv-events\", \"replay_endpoint\": \"tcp://*:5658\"}"
}
留意 SM_VLLM_KV_EVENTS_CONFIG 里的 5557 和 5658,这两个端口只在实例内部使用。前缀缓存也要保持开启,受支持的镜像默认已打开。
再到端点配置的生产变体里,选择按缓存状态路由。
"RoutingConfig": {
"RoutingStrategy": "KV_AWARE"
}
KV_AWARE 是现有 RoutingStrategy 字段的新值,旧版 AWS CLI 和 Boto3 也能接受。如果镜像基于 CUDA 13,还要通过 InferenceAmiVersion 选择兼容的 AMI,例如 al2023-ami-sagemaker-inference-gpu-4-1。
客户端继续发送 OpenAI 兼容的 Completions 或 Chat Completions 载荷,可走 InvokeEndpoint、InvokeEndpointWithResponseStream 或 SageMaker AI 的 OpenAI 兼容 Chat Completions API。走响应流时,请求体带上 "stream": true。InvokeEndpointWithBidirectionalStream 暂不支持。若传 model,它必须与 SM_VLLM_MODEL 一致,否则返回 ModelError。顶层 cache_salt 为非 null 时返回 400,原有的 prefix-aware ID 请求头和 prompt_cache_key 会被忽略,依赖它们做多租户前缀隔离的团队需要把这条纳入切换判断。
两组实测都赢了随机路由,赢在哪里
大规模压测用了 7 台 ml.p5.48xlarge,运行 Llama 3.1 70B Instruct,分别用 20 或 100 名模拟用户跑 30 分钟的多轮聊天和文档问答,最长提示词约 64,000 token。对比 RANDOM,长提示词在有负载时,p50 首 token 延迟(TTFT)最多降低 97%,吞吐最多增加 234%,KV 缓存命中率从 3%–48% 提到 80%–93%。短提示词可省的预填充较少,收益最小。
小规模实验更容易照着跑。每个端点用两台 ml.g5.xlarge 跑 Qwen3-4B-Instruct-2507。每轮 128 个请求,32 名模拟用户从 12 份约 7,400 token 的文档中各选一份,连续提 4 个问题,每次重发已有对话。作者交换了两组实验的策略运行顺序,每组换新文档,让两边从冷缓存开始。
两组里,KV_AWARE 在第 2–4 问的 p50 TTFT 分别为 237、245 ms,RANDOM 为 1,284、1,632 ms。CloudWatch 的平均 ModelLatency 分别为 1,235、1,314 ms,对照组为 4,124、5,100 ms。按整轮缓存 token 总数除以输入 token 总数计算,缓存占比两次都是 90%,对照组为 76% 和 70%。与此同时,容器外的平均 OverheadLatency 增加了 14–19 ms。这组负载里,模型少算的时间超过了路由增加的开销。
我的判断
AWS 的数据回答了「长上下文反复出现时,按实际缓存路由比随机分配好多少」。但原文两组对照都用 RANDOM,没有给出同一批流量下 KV_AWARE 对 PREFIX_AWARE 的数据。按真实缓存选实例,遇到淘汰或不断增长的对话时确实有机制上的优势。至于稳定前缀、短输入和中等负载下,两者差距是否小到可以忽略,原文给的是经验判断。
还有一个观测上的限制。上线时,控制台和指标里没有单独的回退计数,账户也收不到逐次路由决策日志。单次响应里看到 cached_tokens 大于零,只能确认这次请求复用了缓存。要判断收益来自路由策略,得把同一批流量发给不同策略,对比首 token 延迟、吞吐和命中率。尤其是扩容和更新后,新实例从空缓存开始,短时间内的变化也应算进实际体验。
能拿来做什么
- 如果你负责 Node 聊天或 RAG 网关,确认多轮请求会按原顺序带回历史,并把可复用的系统提示词或文档放在前面。同样的文档换个顺序,就可能缩短可匹配的前缀。
- 用同一模型、实例类型、实例数、并发和时长回放生产流量,优先比较
KV_AWARE和PREFIX_AWARE,再加RANDOM作基线。把首轮和后续轮次分开看,避免把冷请求与可复用历史的请求混在一个首 token 延迟数字里。 - 在模型环境里把
SM_VLLM_ENABLE_PROMPT_TOKENS_DETAILS设为true,检查响应中的usage.prompt_tokens_details.cached_tokens。用 AWS CLI2.35.6或 Boto31.43.31及以上版本开启详细观测,CLI 创建端点配置时传入--metrics-config '{"EnableDetailedObservability": true}',再到 CloudWatch 看命中率和 TTFT。 - 把扩容和发布也放进验证流程。单模型端点可用滚动或蓝绿更新,推理组件可用
RollingUpdatePolicy,观察新副本从冷缓存到恢复命中率的过程。