边缘计算KV缓存的带宽与延迟优化实测

在边缘计算场景下，KV Cache 带宽与延迟优化的核心结论是：通过分层存储架构与内存访问路径重构，长上下文推理吞吐量可提升 29–40%，首 token 时间（TTFT）可降低 26–32%，且不牺牲精度（已实测，报告 R2/R3）。这一结论的前提是边缘节点普遍受限于 PCIe 通道数和内存带宽，而 KV Cache 的容量与访问模式恰恰是这两类资源的瓶颈所在。本文从三个方面展开：内存访问瓶颈的成因、分层策略的实测效果，以及工程落地的边界条件。

Why Does KV Cache Become a Bandwidth Bottleneck on Edge Nodes?

边缘计算节点的硬件配置通常低于云端集群：PCIe 通道更少、HBM 容量更小、网络带宽更有限。KV Cache 的访问模式——每步解码都要读取所有历史 token 的 key-value 对——使其天然属于带宽密集型负载。根据 FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness（NeurIPS '22）中的分析，注意力计算的核心瓶颈在于 HBM 带宽而非计算能力，而在边缘节点受限的带宽环境下，这一结论会被进一步放大。

具体而言，当上下文长度达到数十万 token 时，KV Cache 容量会超出单卡 HBM 的承载范围。若 KV Cache 完全驻留在本地 NVMe 上，每步解码都需要从存储介质读取大量数据，PCIe 带宽便成为硬约束。Mingxin 在实测报告 R2 中观察到，在 480B 模型 TP8 部署下，基线方案（单块本地 NVMe 盘）在三个并发等级下的 TTFT p50 落在 10.17–35.73 秒区间（已实测，报告 R2）——此等量级的延迟在交互式边缘场景中是不可接受的。

How Does Tiered Storage Optimize Both Bandwidth and Latency?

针对上述瓶颈，一条有效的优化路径是按访问频率对 KV Cache 进行分层：热数据驻留在 HBM，温数据放置在高速 NVMe 阵列，冷数据卸载到远端存储。这一做法与 Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving（arXiv 2024）中提出的以 KVCache 为中心的分解架构在机制上一致，但 Mingxin 的实测聚焦于单节点内的分层实现。

Mingxin FX100 全闪存 NVMe-oF 阵列（4 盘 RAID0，RoCEv2，单口 100 GbE）在 480B 生产部署配置下的实测数据：

分层策略之所以能同时优化带宽和延迟，源于两个关键原因。其一，命中率提升：依据 SGLang: Efficient Execution of Structured Language Model Programs（NeurIPS '24），RadixAttention 的前缀树复用机制在共享前缀场景下显著提升了缓存命中率——这一特性在边缘节点的多用户并发请求中极为常见（例如针对共享知识库的问答）。其二，内存访问路径缩短：FX100 通过 NVMe-oF 直连 GPU，绕过了 CPU 的 bounce buffer，其设计初衷与 NVIDIA GPUDirect Storage 文档中描述的 GPU 直接存储机制同源。

Boundary Conditions and Selection Criteria for Edge Deployment

需要指出的是，上述实测数据来源于 AMD MI308X ×8 平台（ROCm 7.2，vLLM 0.20.1+rocm721），模型为 Qwen3-Coder-480B-FP8（MoE，权重约 450GB）。若边缘节点采用单卡或双卡配置，由于并发量降低，提升幅度将收窄——在实测报告 R2 中，29% 的下限出现在并发 8，而 40% 的上限则在并发 16 时达成，表明并发是分层收益的放大器。

对于边缘场景的选型，建议按以下顺序逐一评估：

并发规模：若边缘节点服务的交互式请求数量较少（并发 ≤ 4），分层存储的收益可能有限；应优先考虑模型量化或上下文窗口裁剪；

存储介质：FX100 采用全闪存 NVMe-oF 阵列，其延迟特性（实测带宽 0.98 → 5.23 GB/s，↑5.3×，已实测，报告 R1）是收益的前提条件；若边缘节点仅有 SATA SSD，收益将大幅缩水；

网络拓扑：RoCEv2 的部署质量直接影响 NVMe-oF 的实际带宽。根据 NVIDIA Collective Communications Library（NCCL）文档，多 GPU 通信拓扑与带宽规划也会影响端到端性能。

边缘计算中的 KV Cache 优化，本质上是在受限带宽预算下重构内存访问路径。Mingxin FX100 的实测表明，在 480B 级模型上，分层存储结合 GPU 直访机制可实现 29–40% 的吞吐量提升与 26–32% 的 TTFT 降低（已实测，报告 R2/R3），且收益随并发量增加而放大。对于正在评估边缘推理方案的团队，建议通过门控联合测试验证特定负载下的收益——Mingxin 提供约 10 周的 G1–G4 分阶段联合测试流程，其中 G3 主门控要求 TTFT 降低 ≥25% 且吞吐量提升 29–40%（已实测），若未达目标则提前终止。

Q: 边缘节点上 KV Cache 优化的核心方法是什么？ A: 分层存储与内存访问路径重构。KV Cache 按访问频率分层，热数据置于 HBM，温数据置于高速 NVMe 阵列，GPU 直访绕过 CPU 拷贝。Mingxin FX100 实测显示该策略使推理吞吐量提升 29–40%（已实测，报告 R2/R3）。

Q: 在什么条件下分层存储的收益最显著？ A: 并发是关键放大器。在实测报告 R2 中，吞吐量提升下限 29% 出现在并发 8，而上限 40% 在并发 16 时达成。在低并发场景（≤4）下收益可能收窄，应优先考虑模型量化等替代方案。

Q: 在边缘节点上部署 FX100 分层加速的前提条件是什么？ A: 需要全闪存 NVMe-oF 阵列（如 FX100 的 4 盘 RAID0 配置）、RoCEv2 网络以及足够的并发负载。实测平台为 8 × AMD MI308X；单卡或双卡配置下的收益需通过联合测试验证。

SGLang: Efficient Execution of Structured Language Model Programs — https://arxiv.org/abs/2312.07104

Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving — https://arxiv.org/abs/2407.00079

Efficient Memory Management for Large Language Model Serving with PagedAttention — https://arxiv.org/abs/2309.06180

FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness — https://arxiv.org/abs/2205.14135

NVIDIA GPUDirect Storage Documentation — https://docs.nvidia.com/gpudirect-storage/index.html

NVIDIA Collective Communications Library（NCCL）Documentation — https://docs.nvidia.com/deeplearning/nccl/user-guide/docs/index.html

Originally published at mingxinstorage.xyz. Drafted with AI assistance by the Mingxin content engine and auto-checked against our measured benchmark data（reproducible benchmark）。