AI 网关性能榜为何各说各话
文章拆解不同 AI 网关基准的计时边界、网络与 JSON 开销、功能开关及测试规模差异,说明榜单结果为何难以直接比较。选型应先判断网关开销占整体请求耗时的比例,再比较产品数据。
AI 深度解读
AI 网关跑分里,领先 40 倍的说法并不少见,榜首却经常换人。有人只计网关进程内部的处理时间,有人统计客户端多等了多久,还有人打开了鉴权、限流和日志再跑。作者梳理了截至 2026 年 11 月的公开材料,给出的结论是,现有数据还排不出独立可信的冠军。
对写前端或 Node.js 的同学,这篇最能拿走的是一套压测思路。先用模拟上游量出基线,再打开生产会用的功能,看高峰时的 p99,以及为守住它需要配多少 CPU 和内存。
网关多出来的几毫秒,什么时候才重要?
托管模型的一次聊天请求通常要几百毫秒,有时要几秒,长流式响应还会更久。这个量级下,网关加 1 ms 还是 5 ms,单次请求通常很难感知。但如果一个 Agent 串行发起 30 次模型和工具调用,每次都经过网关,这 4 ms 的差值就会累加到 120 ms。
高峰期更该看 p99,也就是约 99% 的请求能在多长时间内完成。CPU 忙不过来时,请求开始排队,中位数可能还好看,最慢那批请求已经在拖时间。还有一个用户看不见的差异。同样守住延迟目标,一套实现要 10 个副本,另一套只要 1 个,账单和运维负担就不同。作者因此把问题缩到一个可以验证的范围:生产功能全开时,在目标并发下守住 p99 要多少资源?
沿着请求走一遍,就知道该量哪里。网关要校验调用方密钥,解析 OpenAI、Anthropic、Responses 或 Gemini 格式,把模型别名解析成具体模型和供应商,检查预算和限流,选择并解密上游密钥,改写请求并发送,转换响应或逐块转发流,最后记录 token、成本和元数据。
JSON 解析、协议转换和流转发会消耗 CPU,运行时差异常在这些地方体现。鉴权、限流和日志则可能要等数据库或 Redis。每个请求都同步写一次 Postgres,写入耗时就会进入响应路径。预算和限流还得在 3 个副本之间保持一致,共享存储可能先到吞吐上限。遇到慢依赖时,是放行、拒绝还是一直等,这些行为也会直接改变尾延迟。
为什么 11 µs 和客户端的毫秒数排不到一张榜上?
Bifrost 报告的 11 µs 只计算自身代码里的处理时间,排除了 JSON 和网络。其他一些测试量的是客户端经过网关后多等多久。把微秒换算成毫秒,只能统一单位,没法补齐被排除的工作。作者观察到,Bifrost、LiteLLM、Kong 和 Ferro Labs 的公开测试各有对发布方有利的结果。原文提到一张汇总表,但提供的正文没有表格内容,因此只能核对文中逐项解释的数字和条件。
测试负载也会改变排序。上游立即返回,成绩更容易体现解析速度。模拟上游等 60 ms 或更久,能不能同时维持大量连接就更重要。整块 JSON 返回和逐块转发 SSE 对运行时的压力也不同。连接池、worker 数和缓冲区的默认值,可能决定系统是在 300 并发还是 3,000 并发开始吃紧。只跑一次 2,000 请求,p99 附近也就约 20 个尾部样本,单次结果容易波动。
具体项目要结合部署方式读。LiteLLM 的容量指南给出每个 4 worker 的 Pod 约 100 RPS,同样规格跑到 200 RPS 时,实测 p99 额外延迟约 650 ms。它的 3,000 RPS 展示用了 33 个 Pod,每个配 4 vCPU 和 16 GiB。这些数字属于 LiteLLM 公布的配置。从 v1.110.0-rc.1 起,其路由器已统一使用 Rust 核心。Rust 版 /v1/messages 服务处于 beta,原文提到的 2026 年 12 月 1 日是该端点端到端迁移的路线图目标。
Node.js 的事件循环擅长并发 I/O,但 JSON 解析和流改写会占用同一个线程。Portkey README 标出的 <1ms latency 和 122 kb 占用需要结合测试条件读,它也支持部署到 Cloudflare Workers。Go 可以在单进程内把工作分到多核。Ferro Labs 的测试提示应该检查高并发下的连接池,但测的是较旧的 Bifrost v1.0.0,发布方也有利益关系。Envoy 则把连接交给 C++ 数据平面,Agent Router 把模型路由、格式转换等工作交给外部 Go 处理器,每个请求因此多一次调用。Kong 和 Apache APISIX 走的是 NGINX 事件驱动 worker 加 LuaJIT 插件的路线。
怎么用 k6 测出生产环境真正要付的开销?
作者建议把能返回 SSE 的模拟上游放到另一台机器,让它响应 /v1/chat/completions,先用 300 ms 的可调延迟。下面的原版脚本发送流式聊天请求,逐步加压,并检查 HTTP 状态。
import http from 'k6/http';
import { check } from 'k6';
export const options = {
scenarios: {
ramp: {
executor: 'ramping-vus',
stages: [
{ duration: '2m', target: 50 },
{ duration: '3m', target: 300 },
{ duration: '3m', target: 1000 },
],
},
},
thresholds: { http_req_failed: ['rate<0.01'] },
};
const body = JSON.stringify({
model: __ENV.MODEL || 'mock-model',
stream: true,
messages: [{ role: 'user', content: 'Summarize this paragraph in one line.' }],
});
export default function () {
const res = http.post(`${__ENV.GATEWAY_URL}/v1/chat/completions`, body, {
headers: {
'Content-Type': 'application/json',
Authorization: `Bearer ${__ENV.GATEWAY_KEY}`,
},
});
check(res, { 'status is 200': (r) => r.status === 200 });
}
看 stream: true 和最后一行 check。前者要求上游走流式路径,后者只校验状态码。你如果关心聊天界面何时开始出字,还要单独测收到首个 SSE 事件的时间,原脚本没有记录这个指标。
同一脚本先直连模拟上游,再经过网关。每个并发阶段都记录 p50、p95 和 p99,用两组对应分位数的差值观察额外延迟。然后打开按密钥鉴权、预算、限流、请求日志和至少一条回退路由,再跑一轮。每套配置重复 3 次,并记录副本的 CPU 核数、峰值常驻内存及 Postgres、Redis、ClickHouse 等依赖。要比较算力效率,可以把吞吐除以总核数。
我的判断
这篇最扎实的部分是把测量范围和生产开关说清楚了。LiteLLM 的容量指南能帮助理解它在特定配置下的尾延迟,不能用来推断所有 Python 网关的上限。作者转述的 LiteLLM 和 Maxim 测试里,Rust 与 Go 吞吐接近,尾延迟的排序还换过。Rust 没有垃圾回收停顿,但「p99 会贴近 p50」仍是带条件的经验判断。同步日志、共享限流存储或 CPU 排队,照样可能把尾部拉长。
Kaeso 也适合按这个标准看。文档描述了回复发出后再写 ClickHouse 的设计,响应路径少等一次日志写入。实际能省多少,原文没有对照数据,Gatebench 也没有可引用的结果。它的默认 Docker Compose 下载约 2 GB,还带 PostgreSQL、ClickHouse 和 Valkey。若只拿 Rust 进程的内存和别人的整套部署比,容量估算会漏掉依赖成本。相比先按语言筛选,先在现有网关上跑一轮功能开关对照,更容易看出值不值得换运行时。
能拿来做什么
- 如果你负责流式聊天页面,分别记录首个 SSE 事件到达时间和整条响应完成时间,再比较直连上游与经过网关时的差值。
- 如果你的 Node.js 服务负责模型代理,在峰值并发下对照日志、鉴权和限流的开关,结合 CPU 占用和 p99 判断该先查事件循环,还是先查数据库与 Redis。
- 如果团队在选网关,用同一模拟上游、同一套生产功能和同一个 p99 目标测候选方案,把网关副本与共享依赖的资源一起算进容量预算。