模型推理服务的三层架构与调优方法
文章梳理生产推理服务的三层架构,以及首 Token 延迟、生成吞吐等指标。内容覆盖连续批处理、前缀缓存、量化、推测解码和模型并行,并比较 vLLM、SGLang 与 TensorRT-LLM。
AI 深度解读
把开放权重模型跑在 GPU 上,只完成了推理服务的第一步。真正上线后,团队还得回答三个问题:用户多久看到第一个 token?并发上来后,每个请求还能以多快的速度生成?流量涨跌时,要花多少 GPU 成本守住这两个指标?
这篇解读从 Philip Kiely 的《Inference Engineering》出发,把这些问题放进运行时、基础设施和工具三层。对做前端和全栈的人来说,最实用的切入点是把流式响应拆开量。首字慢和输出卡顿看起来都叫「慢」,查起来却是两条路径。
推理引擎接管了什么,团队还得调什么
运行时层负责让一个模型实例跑得更快,范围从 CUDA 内核、PyTorch 图执行到 vLLM、SGLang 和 TensorRT-LLM。基础设施层负责把这些实例变成能承接生产流量的服务,处理容器编排、跨节点与可用区路由、多云容量和自动扩缩容。工具层则给研发和运维提供部署 SDK、可观测性、压测和评估能力。
这三层的分工,决定了瓶颈该去哪里找。单个实例的生成速度低,先看运行时。实例一扩容就迟迟接不到流量,先看权重加载和实例就绪。团队没法比较两次配置变更的效果,就要回头补基准测试和观测。
现代引擎已经能自动调度逐 token 的请求,也能管理内存分页。以连续批处理为例,静态批处理要等一批请求凑齐才启动,先到的请求得一起等。连续批处理在下一次前向计算时接纳新请求,已生成结束 token 的请求则立即腾出位置。引擎负责调度,但并发上限、模型与并行策略怎么配,仍要拿业务流量试。书里提到,Baseten 一位工程师用自定义脚本测了 77 种参数和框架组合,才找到一组能让某客户代码补全服务吞吐翻倍的配置。
首字慢和生成慢,为什么要分开量
TTFT(Time to First Token)是从提交请求到收到第一个流式 token 的时间。服务端在 Prefill 阶段处理整段输入,构建注意力用的 KV 缓存,这部分通常更吃算力。首字之后进入 Decode 阶段,逐 token 生成时需要反复从 GPU 显存读取模型权重,瓶颈通常转向显存带宽。此时可以看 TPS(Tokens Per Second,每秒生成 token 数),也可以看 ITL(Inter-Token Latency,相邻 token 的时间间隔)。做压测时要标明 TPS 是单请求生成速度还是服务总吞吐,后者上涨时,前者仍可能下降。
固定系统提示词、Agent 指令或代码上下文如果经常以相同前缀出现,前缀缓存就能跨请求复用已计算的 KV 缓存,省掉部分 Prefill。原文给出的改善量级是 TTFT 从数千毫秒降到数十毫秒,但没有交代负载、缓存命中率或统计口径。输入前缀能复用多少,直接影响这项优化能省多少时间。
量化同时影响两个阶段。权重和激活可以从 BF16/FP16 转到 FP8、INT4 或 MXFP4 等低精度格式。硬件支持时,低精度能提高 Prefill 的 Tensor Core 运算吞吐。位宽减半时,原文估算对应的数据载荷减少 50%,有助于缓解 Decode 的带宽压力。NVIDIA TensorRT Model Optimizer(ModelOpt)可在训练后计算缩放因子并做校准,输出质量仍需要评估。
推测解码则用 Decode 阶段空闲的算力,先猜几个 token,再让目标模型一次验证。Draft-Target 用较小的模型起草,EAGLE 用接在目标模型隐状态上的轻量预测头,N-gram 从输入上下文猜可能重复的片段。猜中的 token 越多,一次验证能推进的生成步数就越多。
什么时候要跨卡,什么时候要拆开 Prefill 和 Decode
模型超过单卡显存后,可以按不同维度切分。张量并行(TP)把同一层的矩阵运算分给多张 GPU,依赖 NVIDIA NVLink 等高速互连。流水线并行(PP)把连续的层分配给不同卡或节点,逐段传递中间激活。专家并行(EP)把 MoE 模型的专家分布到不同设备,按 token 路由。上下文并行(CP)沿序列长度切分,可以用 Ring Attention 处理长上下文。
如果高流量下 Prefill 和 Decode 开始争抢同一批 GPU,还可以把它们拆到独立的工作节点。Prefill 节点建好 KV 缓存后,经 InfiniBand 或高速 Ethernet 传给 Decode 节点。两组节点可以按各自负载配置容量,代价是网络多了一笔 KV 缓存传输开销。
原文用三条命令展示不同引擎在 8 卡节点上的配置方式。vLLM 用 vllm serve deepseek-ai/DeepSeek-V3.1 --enable-expert-parallel --tensor-parallel-size 8 --served-model-name ds31 启用专家并行、指定张量并行规模,并把服务模型名设为 ds31。SGLang 的示例展示了如何在启动时配置 EAGLE。
python3 -m sglang.launch_server \
--model-path deepseek-ai/DeepSeek-V3-0324 \
--speculative-algorithm EAGLE \
--speculative-num-steps 1 \
--speculative-eagle-topk 1 \
--speculative-num-draft-tokens 2 \
--trust-remote-code \
--tp 8
其中 --speculative-num-draft-tokens 2 指定草稿 token 数。原文没有给出这个配置的接受率或吞吐数据。
TensorRT-LLM 的示例则把并行规模、批处理和 KV 缓存预算都放进启动参数。
trtllm-serve deepseek-ai/DeepSeek-R1-0528 \
--host 0.0.0.0 \
--port 8000 \
--backend pytorch \
--max_batch_size 1024 \
--max_num_tokens 3200 \
--max_seq_len 2048 \
--kv_cache_free_gpu_memory_fraction 0.8 \
--tp_size 8 \
--ep_size 8 \
--trust-remote-code \
--extra_llm_api_options ${EXTRA_LLM_API_FILE}
--kv_cache_free_gpu_memory_fraction 0.8 以空闲显存为基准设置 KV 缓存预算。三条命令分别使用不同模型,无法据此比较引擎性能。
单实例调快以后,怎么把它发到线上
原文给出的 Docker 示例用 FROM vllm/vllm-openai:v0.7.2 固定基础镜像,通过 COPY requirements.txt . 复制依赖文件,再用 RUN pip install --no-cache-dir -r requirements.txt 安装。Python 依赖示例是精确绑定 transformers==4.56.2,而 transformers>=4.40.0 允许解析到更新版本。CUDA、PyTorch 和引擎库联动紧密,固定版本的价值在于测试和发布可以用同一套环境重现问题。
扩容时临时从远程拉取 100B+ 参数的模型权重,会把网络下载时间算进冷启动。作者建议在数据中心网络内缓存权重。TensorRT-LLM 一类引擎如果还要编译二进制产物,就提前构建并缓存,确保产物与 GPU 硬件和 CUDA 驱动版本匹配。
发布时,原文给了四步灰度流程。先构建并验证新镜像,再开一个小规模实例池接收约 2–5% 的真实流量,然后比较错误率、TTFT 和 TPS,最后逐步切流并缩减旧副本。这样可以控制蓝绿部署维护两套完整 GPU 集群的成本。
我的判断
最值得采纳的是把首字等待、生成节奏和服务总吞吐分开验收。这比只看接口平均响应时间更容易定位代码补全或聊天流里的实际卡点。Baseten 测了 77 组配置,说明自动调度之后还有调优空间。原文只转述了这个单一案例,没有公开逐组结果,吞吐翻倍只能作为该负载下的经验。
前缀缓存依赖流量里有足够多的重复前缀,拆分部署依赖集群规模和网络条件。原文没有提供统一负载下的引擎对照、量化质量数据或托管 API 与自建的成本账。对已经使用托管 API 的团队,直接在应用端做同口径的流式测量,能先知道体验差在哪里。准备自建时,再把冷启动和低峰闲置算进成本,单看满载 TPS 容易高估收益。
能拿来做什么
- 给前端流式界面或 Node 网关记录请求发出、首段有效内容到达和流结束的时间。如果上游只返回文本块,就把前端观测标为首段时间和块间隔;有 token 级数据时再计算 TTFT 和 ITL。
- 给代码补全或 Agent 请求做一组重复前缀、一组变化前缀,用
genai-bench或NVIDIA GenAI-Perf在相同并发下对比 TTFT 和吞吐,看看实际流量能从缓存获得多少收益。 - 准备上线 FP8 时,用 NVIDIA ModelOpt 校准后抽查真实业务输出,并保留原精度的基准。若需要定位 CUDA 执行瓶颈,可以用 PyTorch Profiler 或 NVIDIA Nsight Systems 查看运行时行为。