本地推理多轮崩溃,问题出在 KV 缓存
作者分析 DeepTutor 接入 vLLM 后在第十二轮对话被 OOM 杀死的故障,指出缓存预分配过大、会话累积和设备放置不当会耗尽显存。若会话状态未及时写入外部记忆,推理进程重启还会丢失教学上下文。
AI 深度解读
DeepTutor 的一次微积分辅导进行到第 12 轮,前面的 vLLM 服务因显存不足被杀掉,刚建立的教学上下文也随之丢失。作者排查后认为,问题出在 KV cache 的预算和会话管理,模型权重本身还能装下。
这篇文章值得读的地方,是把本地推理从「模型能启动」拉回「连续服务几个小时还能不能活着」。作者给出的办法是缩短上下文、限制并发、调整缓存精度,同时把学生的长期状态保存在 GPU 之外。但配置能参考,效果和故障归因仍要分别看待。
装得下 70B,不代表撑得住连续对话
作者是 HKUDS/DeepTutor 的外部集成者,并不维护它的内部图结构。这个系统依靠学生状态、技能轨迹和规划器延续教学,模型调用只是可替换的后端。
事故发生在凌晨 3:12。按作者描述,一个采用 Q4 或 AWQ 量化的 70B 模型,权重占用不到 40 GB,可以放进两张 48 GB 显卡。但预留 32k 上下文,再叠加不断进入的会话,就可能耗尽 KV blocks;自动设备放置还让注意力计算与缓存挤在同一设备上。
KV cache 保存的是生成时可复用的注意力中间结果。它随上下文和活跃请求占用显存,不能只看模型文件大小来估算。
权重能装下,只是容量预算的起点。
作者还强调,GPU 上的对话上下文不是可靠存储。DeepTutor 有外部记忆,也必须先把压缩后的状态写出去,才能帮助恢复。服务重启后,应暂停接收新会话,回放最后持久化的技能轨迹,不能假定原始对话还在。
为什么先把上下文收回到 8192
作者的判断是,DeepTutor 已经在 GPU 外保存结构化历史,模型当前只需要系统提示、技能重点和最近几轮对话,没必要再塞入一份 32k 原始聊天记录。
下面这段配置把上下文、显存比例和调度上限放到一起管理:
vllm serve meta-llama/Llama-3.1-70B-Instruct \
--quantization awq \
--max-model-len 8192 \
--gpu-memory-utilization 0.82 \
--kv-cache-dtype fp8 \
--enable-prefix-caching \
--max-num-seqs 4 \
--max-num-batched-tokens 8192 \
--port 8000
重点看 --max-model-len 8192 和 --max-num-seqs 4:前者限制上下文长度,后者限制同时处理的序列数。并发上限不等于业务接口一定直接拒绝请求,接入层仍需定义排队、超时和拒绝策略。
前缀缓存(prefix caching)适合稳定的系统提示和技能评分规则。每位学生各不相同的聊天内容,不能指望获得同样的复用收益。作者也提醒,把显存利用率设为 0.95,会压缩应对碎片和波动的余地。
在作者的观察中,FP8 KV 缓存缓解了持续增长的显存压力,但符号表达相对 FP16 略有退步,主要涉及下标,最终答案受影响较少。需要逐字符匹配参考答案的评分器,不宜直接照搬。
Ollama 则把同样的约束写进 Modelfile,避免部署时漏掉启动参数:
FROM llama3.1:70b-instruct-q4_K_M
PARAMETER num_ctx 8192
PARAMETER num_gpu 99
PARAMETER num_thread 8
这里最该检查的是 num_ctx 8192。作者解释,num_gpu 99 仍然只能按实际容量卸载模型,不能凭参数创造显存。重试也无法找回从未持久化的上下文。
单次请求成功,为什么还不能算验证通过
作者用 asyncio 和 aiohttp 写了一个异步客户端,通过 OpenAI-compatible 的 /v1/chat/completions 测量首 token 延迟(TTFT)和完整请求耗时。
测试使用 meta-llama/Llama-3.1-70B-Instruct,默认 n=8 个并发请求,要求计算 x^3 * sin(x) 的导数,只展示两步,并设置 "max_tokens": 128、"stream": True,输出 ttft_p50 与 lat_p50。
本地地址为 http://127.0.0.1:8000/v1/chat/completions。远端对照走 B-Lost relay gateway,base_url = "https://b-lost.com/v1"。作者尽量保持消息和输出上限相同,只切换请求地址,以便沿用同一客户端。
不过,文中没有给出两边的延迟结果,也没有说明远端模型的量化、硬件和调度配置。因此,这可以验证接口切换是否顺畅,尚不足以证明哪边性能更好。
测试代码还有一个口径问题:它把收到第一个非空响应块当作 TTFT,没有解析流式事件中的实际文本,也没有检查 HTTP 状态。错误响应或流式元数据,都可能影响这个指标。
作者更有价值的提醒是:观察几百次调用后的显存变化。第一批八个请求跑完,看不出持续运行时的缓存压力;前缀开始失配之后,才更接近真实教学负载。
我的判断
我认同把上下文、缓存精度和并发作为同一份资源预算,也认同先持久化教学状态,再谈故障恢复。它们比「显存不够就再加一张卡」更接近服务问题的根源。
但文章把显存增长、缓存块耗尽、碎片和「泄漏」混在了一起。显存上升而吞吐不变,可以作为排查信号,不能单凭这一点判定缓存泄漏。原文没有提供 vLLM 版本、显卡型号、分卡方式和显存曲线,0.82、FP8 与并发 4 的收益仍属于作者的运行经验。
命令也有复现前提:--quantization awq 需要匹配的 AWQ 权重。原文没有交代所列模型仓库是否直接提供对应格式,不能把这条命令当成环境无关的安装说明。
相比保留完整聊天记录,短窗口加结构化记忆能控制资源,却把难题转移给了摘要质量。文章没有提供个性化教学的对照结果。学生上周反复出现的错误有没有被摘要保住,需要另外验证。
缩短窗口能控制成本,不能自动保证记忆质量。
能拿来做什么
- 给本地 AI 服务列出上下文、缓存精度、活跃序列数和批处理 token 上限,用真实多轮请求验证预算,再决定是否扩容。
- 在 Node 接入层保存可恢复的结构化状态,例如当前任务、已确认事实和最近错误;服务重启后从持久化记录恢复,明确告知哪些对话未保存。
- 给压测加入稳定系统提示和持续变化的用户内容,连续运行几百次,同时观察显存、失败率、首段有效文本耗时和完整耗时。
- 在缩短上下文之前,先检查压缩结果能否保留任务约束和历史错误。若准备启用 FP8,再单独验证下标、公式和严格格式输出。