Vercel网关新增会话路由与缓存观测

AI Gateway 日志现在新增了 Sessions 视图，可以按会话归类请求，并展示会话亲和性（session affinity）如何为每个请求选择路由。每一行都会显示运行该会话的 coding Agent 或应用，例如 Claude Code、Codex 或 Cursor，以及该会话的费用、使用的模型和 provider，还有所有轮次中输入内容的缓存占比。

打开一个会话，即可查看它的缓存命中率、持续时间和请求路径。请求路径会列出每一轮使用的模型和耗时，并标明当前为该会话提供服务的 provider，以及此前使用过的 provider。会话亲和性会将每一轮请求发送给处理上一轮请求的 provider，这样该 provider 的缓存中就已经存有大部分 prompt。会话持续使用同一个 provider，就能从缓存中读取每个 prompt 的更多内容。

你可以按轮次、客户端、模型、provider、身份验证方式或费用筛选会话。单轮会话默认隐藏，清除最小轮次筛选条件后才会显示。

会话亲和性默认对文本和聊天请求启用。如果想自行归类请求，请在同一段对话的每个请求中，通过 providerOptions.gateway 传入相同的 sessionId，或者发送相同的 x-session-id 请求头。未提供会话标识的请求会根据对话开头的指纹归类，并显示为通过指纹识别的会话。

有关 AI Gateway 如何识别会话的更多信息，请阅读会话亲和性文档。