三款内存缓存的吞吐与尾延迟对比
文章对比 Redis 8、Dragonfly 和 Valkey 的线程模型、吞吐、尾延迟及内存开销。在文中每秒 50 万次操作的混合读写测试里,三者的 p99 延迟分别为 2.1、0.9 和 1.4 毫秒。
AI 深度解读
Redis 8、Dragonfly 和 Valkey 都能接收 RESP 请求,现有 Redis 客户端往往能继续用。但当吞吐冲到 50 万 ops/sec 以上,或者单节点要装下几百 GB 数据,选型就得看三个问题:命令能用上几颗核,批量读会不会拖高 p99,做快照时内存还剩多少。
作者把托管迁移的首选给了 Valkey,把高吞吐和大单节点交给 Dragonfly,有 Redis Stack 依赖则优先看 Redis 8。对业务开发更有用的是,原文指出了几种容易被单键压测漏掉的故障,以及该用什么请求把它们测出来。
加核能提速多少,要看命令在哪里执行
Redis 8 仍由一个主线程串行执行核心命令。Redis 6+ 引入 io-threads,原文建议配 4–8 个,将部分网络读写和协议处理移到其他核,给出的 CPU 工作卸载比例是 40%–60%。Redis 8 最多支持 32 个 I/O 线程,VectorSets 和查询引擎还有后台工作。作者估算整机吞吐上限约为 100 万 ops/sec,又给出约 4.5 GHz 单核跑流水线 GET 时,单热键约 35 万–40 万 ops/sec 的数字。两个数字都只能结合负载看。要把热点的执行压力分到多核,通常得拆键或分片。Redis Cluster 有 16384 个槽,仍需一起操作的键要规划 hash tag。
Dragonfly 让每个核心跑一个相对独立的引擎,通过哈希分配键。单键请求容易并行,跨线程的多键请求则需要协调。原文估算跨线程 MGET 的开销约为同线程的 2–5 倍,还举了一个一次读 200 个键的例子,单次请求 p99 从 0.4 ms 升到 2.8 ms,INFO ACTIVITY 里的事务队列深度也会上升。像 {user:42}:cart 这样的 hash tag 可以帮助把相关键放在一起,但迁移时仍要用实际键分布确认。
Valkey 是 Redis 在 2024 年 3 月变更许可后,由 Linux Foundation 治理的分支,以 Redis 7.2 语义为兼容基线。Valkey 8 加强了 I/O 并行。原文还称,低争用时 I/O 线程可参与命令执行,主线程负责有序收尾,但没有交代适用的命令范围。AWS 宣称在托管环境、p99 低于 1 ms 时,吞吐最高约为 Redis 7.1 的 3 倍。作者称自己的同硬件测试得到 260 万对 90 万 ops/s,却没有贴出对应的完整延迟数据。
常驻内存差一截,快照峰值可能差更多
在 100 万个键、每个值 64 B 的字典型负载里,作者称 Dragonfly 的常驻内存(RSS)约省 14%。真正影响容量规划的是快照开启后的峰值。以 100 GB 数据集为例,Redis BGSAVE 会 fork 子进程。快照期间修改内存页会触发写时复制(CoW),作者给出的 RSS 峰值涨幅约为 38%。Dragonfly 让各线程协作扫描并序列化,不依赖 fork,原文给出的临时开销约为 2%–4%。原文还称 Valkey 8.1 加入异步无盘复制和新快照格式,其快照仍有部分 CoW,峰值约涨 22%。
对 Kubernetes 来说,maxmemory 是 Redis 的内存配置,容器 limit 约束的是整个进程运行时的内存。原文举例,在写入占 60% 的负载下,快照期间 CoW 增量接近数据集的 38%,pidstat -r 可见次缺页每秒激增约 100 倍,随后容器以 137 退出。作者建议从 limit ≥ maxmemory × 1.4 开始留余量。无盘全量复制可以看 repl-diskless-sync yes,是否仍需本地快照则取决于恢复方案。
复制也要单独测。作者估计,异步复制故障切换可能丢失最近 50–200 ms 的写入。Redis 和 Valkey 可用 WAIT 1 100 等待至少一个副本确认,最多等 100 ms。原文给出的代价约为每次写入多 1 个 RTT、吞吐下降 30%–40%,但没有给出这组数字的测试条件。业务还得处理等待超时,以及切换后重试带来的重复操作。
跑到百万级吞吐,先把压测条件读清楚
下面这段配置交代了作者如何测 1024 B 值的 GET/SET 吞吐和延迟,也给了复跑的起点。
AWS c6i.8xlarge (32 vCPU Ice Lake, 64 GB), server and client on separate
c6i.8xlarge nodes connected via 25 Gbps ENA (iperf3 TCP: 23.4 Gbps, RTT 82 µs).
Server: Ubuntu 24.04, kernel 6.8, THP=madvise, vm.overcommit_memory=1,
net.core.somaxconn=4096. Client: memtier_benchmark 1.10
--pipeline=16 --ratio=7:10 --key-pattern=R:R --data-size=1024,
48 client threads, 6 connections each, run 300 s after 60 s warm-up.
Persistence: AOF everysec (Redis/Valkey), auto-snapshot 60 s (Dragonfly).
先看最后一行。Redis 和 Valkey 每秒刷 AOF,Dragonfly 每 60 秒做快照,写入开销和故障后的恢复点都不同。再看 --pipeline=16,客户端可以攒一批命令连续发,减少等网络往返的时间。Node 服务如果在循环里逐条 await,就不能拿表述中的吞吐直接估算生产容量。
硬件也会改写结果。作者称超过 200 万 ops/sec 后,25 Gbps 网卡的接收队列和中断分布可能先卡住,举出的上限是 Redis 8 约 140 万、Dragonfly 约 290 万 ops/sec。双路机器跨 NUMA 节点访问每跳多 60–90 ns,作者估计 Dragonfly 的跨线程事务吞吐可能下降 25%–35%,建议用 --mem_affinity 或 numactl 绑核。原文还称 RESP3 over TLS 会让三者吞吐下降 35%–45%,并建议在支持时评估 kTLS。在 512 GB 节点上,冷页还可能抬高 p999,作者称某些内核的透明大页设置会让 RSS 多出 15%–20%,测试配置用的是 madvise。
我的判断
这篇最能指导选型的两项指标,是业务真实 MGET 的 p99 和持久化期间的内存峰值。相比只跑单键 GET/SET,前者能暴露换引擎后哪些接口会变慢,后者能决定峰值流量下容器有没有空间完成快照。相对而言,原文展示了压测配置,却缺少三款产品的完整吞吐、延迟、内存和恢复对照。超过约 100 万 ops/sec 后,Dragonfly 单机可扛约 400 万 ops/sec、计算成本可省 50%–60%,都应按作者的经验估算理解。其成本口径是 2026 年 10 月 us-east-1 价格,自建计入计算、存储和 25% 余量,但原文缺少可复算的账单,也没给出夜间 4,800 美元账单案例的计费明细。
选型可以先用依赖和许可缩小范围。原文给 Valkey 4.6/5,看中 BSD 许可和托管迁移,并称 ElastiCache 的 Valkey 引擎比 Redis OSS 便宜 20%。用到 Search、JSON、VectorSets 或依赖厂商 SLA,则先核 Redis 8 的具体能力,它在文中得 4.8/5。Dragonfly 得 4.5/5,适合用真实流量验证单节点密度。原文提及 Redis 8 的 AGPLv3 及部分企业能力的 RSAL 或专有条款,并称 Dragonfly 的 BSL 1.1 持续到 2027 年。模块授权和对外提供托管服务的权利,要按准备部署的版本和对应条款核对。
能拿来做什么
- 从 Node 服务采样
MGET的键数和键名分布,回放到候选引擎,对比单键请求和批量请求的 p99。测试 Dragonfly 时同时看INFO ACTIVITY中的事务队列深度。 - 在与生产一致的容器 limit 和写入比例下主动触发
BGSAVE,记录快照前后的 RSS 峰值、容器退出码和恢复耗时,再据此定内存余量。 - 给依赖 Redis 的写入流程做一次主从切换演练。若使用
WAIT 1 100,记录确认数和超时率,并检查订单或库存操作在重试后是否会重复执行。 - 评估 ElastiCache Serverless 时,回放真实 pipeline 流量,排查客户端是否会发
KEYS *,并为 ECPU 用量配置告警。