自建大模型推理的三个框架怎么选
文章以 4 张 A100 80GB 为硬件基线,从 64 路并发下的 P99 延迟、前缀缓存复用和单 Token 成本比较 vLLM、SGLang 与 TensorRT-LLM。三者分别侧重模型兼容性、高频前缀复用和提前编译优化。
AI 深度解读
自建 LLM 推理服务时,同一批 GPU 能接住多少请求,很大程度上取决于推理引擎怎么管理 KV cache、怎么安排新请求和正在生成的请求。作者把 vLLM、SGLang 和 TensorRT-LLM 放在一起比较,给出的取舍是:频繁换模型时优先看 vLLM,共享提示词多时重点测 SGLang,流量稳定且能承担引擎构建时再看 TensorRT-LLM。
原文的吞吐、P99 和成本数字看起来很精确,但同一组数字被用于两套不同的负载。这篇最值得带走的是压测方法和迁移思路,选型排名还得用自己的流量验证。
三种引擎分别省掉了什么开销
模型处理输入提示词的阶段叫 prefill,通常更吃算力;逐个生成输出 token 的阶段叫 decode,通常更吃显存带宽。KV cache 保存已处理 token 的注意力中间状态,生成下一个 token 时可以直接复用。并发上来后,缓存怎么分配、谁能复用、长提示词会不会挤占生成资源,都会反映到用户看到的流式输出上。
vLLM 用 PagedAttention 把 KV cache 按需分配到可以不连续存放的物理块,原文按每块 16 个 token 举例。这样就不用给每条请求预留最长上下文所需的空间。连续批处理允许新请求加入正在运行的批次,分块 prefill 则让长提示词分几次处理。原文把高并发下的一部分尾延迟归因于每步的 Python 调度、块表查找和组批开销。--kv-cache-dtype fp8 可以把 KV 元素的存储开销降到 BF16 的约一半,模型权重和工作区仍要单独计入显存预算。
SGLang 的 RadixAttention 用基数树索引 token 前缀。多条请求从开头共享系统提示词、对话历史或同一段文档时,可以复用已有的 KV 状态,少做一次重复的 prefill。vLLM 也能通过 --enable-prefix-caching 复用前缀,所以实际该测的是两边都启用缓存之后的命中率和耗时。作者称,命中率低于 20% 时,两者的差距会缩小;预期超过 40% 时,作者优先考虑 SGLang。这两个比例适合拿来设计压测分组。
TensorRT-LLM 把一部分运行时工作搬到了部署前。团队用 trtllm-build 针对模型和 GPU 拓扑构建引擎,再交给 Triton 或 C++ 服务加载。算子融合和 CUDA Graph 可以减少逐步发起 GPU 操作的开销。模型、硬件拓扑或输入形状超出已有构建配置时,团队要把重建和验证算进发布周期。这个成本会直接影响频繁换模型的团队。
这组 P99 和年度成本能用来做预算吗
原文先定义了一组参考负载,硬件是 4 张 A100 80GB,模型是 Llama-3-8B,固定 64 路并发,每个请求输入 512 token、输出 128 token,目标为 100k tok/s。作者还给出跨可用区路由额外增加 2–4 ms 的估计。
| 引擎 | P50 | P99 | 吞吐 | 原文所列单 worker 内存 |
|---|---|---|---|---|
| vLLM | 18.6 ms | 64.2 ms | 45k tok/s | 12.8 GB |
| SGLang | 11.4 ms | 32.7 ms | 72k tok/s | 9.6 GB |
| TensorRT-LLM | 9.8 ms | 28.3 ms | 88k tok/s | 7.2 GB |
按原文列出的数字,三者均未达到 100k tok/s 的目标。更影响解读的是,原文没有交代这组毫秒值究竟统一测的是首 token 延迟、输出 token 间隔,还是其他口径。它提到 P90、P95 和缓存命中率需要一起看,给出的材料却缺少完整分位数、各组实际命中率、运行时版本和内存统计边界。后文又把同一组 P99 归到 64 路 70B 请求上,读者无法确定这些数字分别来自哪些独立测量。
成本部分换成了混合 H100/L40S 预留资源上的 70B 模型,按 64 路并发、每次输入 1,100 token、输出 700 token、全天运行估算。原文给出的 12 个月总成本分别是 vLLM 25,300 美元、SGLang 19,000 美元、TensorRT-LLM 15,100 美元。按作者的账,TensorRT-LLM 每月节省 1,050 美元算力费,扣掉计入的每服务节点 200 美元许可费,净省 850 美元,全年相差 10,200 美元。850 美元是该情景算出的月净节省。若其他成本相同,盈亏平衡发生在算力节省刚好覆盖适用许可费时。原文没有给出足够的 GPU 配置、计费和许可明细来复算年度总额。
配置能照着试,迁移要按流量验证
这条 vLLM 命令展示了如何在 4 卡环境里同时启用前缀缓存、FP8 KV cache 和分块 prefill。
vllm serve meta-llama/Llama-3-8B-Instruct \
--tensor-parallel-size 4 \
--gpu-memory-utilization 0.92 \
--max-model-len 8192 \
--max-num-seqs 64 \
--enable-prefix-caching \
--kv-cache-dtype fp8 \
--enable-chunked-prefill \
--disable-log-requests
先看 --max-num-seqs 64 这一行,它限定调度的序列规模。外层队列能积压多少请求、超限会返回什么状态码,需要针对部署实际验证。
这条 SGLang 命令使用相同模型和 4 卡张量并行,给出共享前缀负载的起始配置。
python -m sglang.launch_server \
--model-path meta-llama/Llama-3-8B-Instruct \
--tp-size 4 \
--mem-fraction-static 0.92 \
--context-length 8192 \
--max-running-requests 64 \
--enable-torch-compile \
--kv-cache-dtype fp8 \
--schedule-conservativeness 0.3
先看 --mem-fraction-static 0.92 这一行,能留给运行时工作区的空间要在长提示词集中到达时验证。原文没有给出两条命令对应的运行时版本,参数是否受支持应以实际安装版本为准。
迁移清单里最实用的是把切流分成两步。作者建议先用 10%、50%、100% 的影子流量各跑 6 小时,再以 2% 权重引入真实流量。旧 vLLM 实例保温 24 小时,旧目标下线前观察 72 小时,记录显存、排队深度、P99 和吞吐。原文的回滚线是 vLLM 45 ms、SGLang 35 ms,但它给出的 vLLM 基线已经是 64.2 ms。照抄阈值会让基线自己触发回滚。
我的判断
作者把前缀复用、调度和编译成本放在同一张选型表里,这个思路成立。一套固定并发的测试很容易掩盖长提示词扎堆、缓存冷启动和扩容时的排队。对团队来说,先用现有 vLLM 开启前缀缓存和分块 prefill,再跟 SGLang 做同口径对照,比直接更换整个推理服务更容易定位收益。
具体名次、命中率门槛和冷启动时长属于原文报告的结果和经验判断,缺少可复现的对照数据。尤其是原文给出的 meta-llama/Llama-3.3-70B-Instruct 示例用了 --tensor-parallel-size 1,目标是单张 L40S 48GB,却没有说明权重量化或卸载方案。FP8 KV cache 只压缩缓存。即便按每个参数 1 字节粗算,70B 模型权重也约需 70 GB,单卡能否启动得先核对权重格式和完整显存预算。原文所称 3–6 分钟的 TensorRT-LLM 冷启动还混入了构建步骤,迁移前应分别测引擎构建、加载和实例就绪时间。
能拿来做什么
- 给 AI 编程助手的多轮请求做回放,用公共前缀多、公共前缀少、长输入突发三组流量比较 vLLM 和 SGLang,同时记录真实缓存命中率。
- 在 Node 网关记录发起请求到收到首 token 的耗时、后续 token 间隔和端到端耗时,再与推理侧的队列深度对照。前端的首字等待和流式输出卡顿可以分别定位。
- 给推理服务迁移设定基于当前生产表现的回滚线。先压影子流量,再用少量真实请求验证流式响应、取消和超时,确认旧实例在回滚窗口内能立即接管。
- 用实测的 GPU 秒数估算每百万输出 token 的成本,并按实际部署加入预留实例、保温副本和适用许可费用。频繁更换模型的团队还应记录引擎重建和验证耗时。