让 llama.cpp 承接多用户生产负载

llama.cpp 能不能承接企业多用户负载？一篇 dev.to 文章基于作者约两年的运维评估，将它列为 vLLM 之外的推理部署选项，重点讨论并发、排队、内存管理，以及流量突增时的稳定性。目前拿到的节选包含优势和限制，但关键配置章节尚未完整呈现。

目前能确认什么

作者认为，llama.cpp 的主要吸引力在于长期运行稳定、内存管理可控，以及突发请求下的排队表现。不过，其中部分稳定性比较来自约 2024 年的评估，不能直接当作当前版本的横向结论。

节选也指出：原生多用户能力需要外部补充，队列没有原生上限，请求会在内存允许时继续等待。作者描述的运行表现是显存占用保持固定，而主内存占用随并发请求增加。

能排队，不等于能无限承接流量。

排队只是把部分请求延后执行；如果进入速度持续超过处理速度，等待时间和资源压力仍会累积。

后续章节会涉及关闭 prompt caching、8-bit KV cache 量化，以及采用 LiteLLM 的架构。KV cache 用于保存生成过程中的注意力键值状态，量化可减少其存储开销。但具体配置条件与效果，节选没有展开。

我的判断

这篇文章对程序员更有价值的提醒，是把选型视角从吞吐量扩展到过载时的行为。按作者描述，llama.cpp 的原始吞吐量存在短板，安全措施也需要外部代理补充，部署方案必须覆盖这些边界。

生产容量不能只看显存，还要看队列长度、RAM 占用和请求等待时间。

目前不能据此照抄关闭缓存或量化配置。完整原文还需要回答：为何关闭缓存、并发如何限制、请求超时后如何处理，以及比较双方采用了什么模型、硬件和负载。缺少这些条件，「更稳定」只能作为作者的运维观察，不能成为通用选型结论。