从内存读取成本理解行存与列存
文章从缓存行、内存布局、执行模型和压缩机制解释行存与列存的性能差异。核心问题是查询只需要少数字段时,行式布局会读取大量无关数据,并进一步讨论行存的优化手段。
AI 深度解读
同一条 SQL,为什么在 Postgres、MySQL 和 DuckDB、ClickHouse 上,性能可能差一个数量级?原文把答案拆成了三个部分:行与列如何排列、CPU 如何批量执行、数据如何压缩。结论是,查询需要的数据占比,往往比 SQL 写法更早决定性能上限。
这套解释适合用来判断业务数据库该继续加索引,还是该把统计查询交给分析引擎。不过,原文有几处把工程问题讲得过于整齐,开头的数据量也算错了。理解它的方向,比照单全收更有用。
只算一列,为什么还要搬整行?
行存储把一条记录的字段放在一起,列存储把同一字段的不同记录放在一起。对应到程序里的数据结构,就是结构体数组(array-of-structs)和数组组成的结构体(struct-of-arrays)。
两者不改变逻辑表的含义,CREATE TABLE、SELECT 仍然可以相同。差别发生在物理布局,并进一步影响磁盘 I/O、压缩和 CPU 缓存。
原文用了一个出行记录的例子:ID、时间戳、两个字符串,以及一个 4 字节的时长字段,整条记录约 48 字节。计算平均时长只需要其中的 4 字节,但行布局让扫描顺带搬入其他字段,有效数据仅占十二分之一。
CPU 从内存取数据时,通常按缓存行(cache line)搬运。原文给出的大小是,多数服务器和桌面芯片为 64 字节,Apple M-series 为 128 字节。查询只要其中几个字节,也得把所在缓存行一起取来。
列布局把时长连续排列,扫描便可以集中读取这些值。当查询遍历大量记录,却只使用少数字段时,少搬数据就是直接的性能收益。
但原文开头有一处数量级错误:一亿条记录,每条读取 4 字节,应约为 0.4 GB;每条读取 48 字节,应约为 4.8 GB,而非原文的 4 GB 和 48 GB。12 倍的比例成立,总量不对。这些数字也只是忽略元数据、对齐和压缩后的布局估算,并非实测流量。
这种设计并不新。1985 年 SIGMOD 的 Decomposition Storage Model 已提出按列拆分存储。后来分析查询越来越重要,才让围绕列布局构建完整数据库变得划算。
列存储为什么还能省下计算和解压成本?
少读字节只是第一层。
经典 Volcano 执行模型让扫描、过滤、聚合等算子逐行传递数据。每处理一行,都可能重复进行算子调用、字段定位和类型判断。求和本身很简单,围绕求和的调度却未必便宜。
批量执行把这些成本分摊到一组数据上。原文举出的常见批次大小是 1024 个值,让算子一次处理一批,并争取让中间结果留在 CPU 缓存中。
连续、同类型的数据也适合单指令多数据(SIMD)。原文援引 SpiralDB 的示例:rustc 将普通求和循环编译为 AVX-512 指令,vpaddq 一次相加八个 64 位整数,再配合四路循环展开,每轮处理 32 个值。开发者没有手写 SIMD intrinsic,LLVM 就能完成向量化。
这里展示的是特定循环的编译结果,不是所有列存查询都能获得的固定收益。原文的小标题称行扫描无法向量化,也过于绝对;更准确的表述是,连续同类型数组更容易让编译器生成高效循环。
压缩则进一步减少需要搬运的数据。同一列类型一致、取值往往相似,可以采用游程编码(RLE)或差分编码(Delta encoding)。
下面两段代码分别把连续重复值变成「值与次数」,把原始数值变成相邻差值:
def rle_encode(values):
out = []
for v in values:
if out and out[-1][0] == v:
out[-1][1] += 1
else:
out.append([v, 1])
return out
def delta_encode(values):
out, prev = [], 0
for v in values:
out.append(v - prev)
prev = v
return out
要看清 out[-1][0] == v:RLE 压缩的是连续重复,而非只要不同值少就有效。差分编码也只是先生成小整数,还需要位打包等步骤,才能减少实际存储空间。
原文说这类编码保留了随机访问能力,讲得太快。以上代码并没有提供随机定位机制,工程实现还需要块边界、检查点或辅助索引。直接在编码数据上计算,与延迟物化(late materialization)也不能完全画等号;后者更侧重推迟解码、取列和拼装完整记录。
真实系统会组合使用这些办法。原文提到 DuckDB 按行组应用轻量压缩,并在 v2.0.0 存储格式中将 DICT_FSST 设为默认字符串编码。Parquet 则在行组内部按列存放数据,并借助块级最小值、最大值统计跳过无关块;原文将这种分组思路追溯到 VLDB 2001 的 PAX 论文。
行数据库还能靠什么追回差距?
最实用的反击是覆盖索引:把查询需要的列放进索引,让数据库有机会直接从索引返回结果,省去读取完整记录的成本。
下面的索引同时包含过滤条件和返回字段:
CREATE INDEX idx_rides_area_time ON rides (start_area, started_at);
-- 完全由索引回答;不读取基表
SELECT start_area, started_at FROM rides WHERE start_area = 'SoHo';
关键是索引中的 (start_area, started_at) 覆盖了查询所需字段。不过,注释描述的是理想执行路径,不能仅凭 SQL 就认定基表一定不会被读取,仍需查看具体引擎的执行计划。
覆盖索引也不等于完整列存储。它提供的是一份更窄的数据副本,可以减少读取量,却不自动获得列式压缩和批量执行的全部收益,而且增加了存储与写入维护成本。
更进一步的混合方案早已存在:Sybase IQ 在 1990 年代商业化使用列存储;SQL Server 在 2012 年加入 columnstore indexes;Oracle Database In-Memory 为行表维护列式镜像。原文还列举了源自 Umbra 的 CedarDB,以及以 Postgres 处理事务、后台生成列式数据的 Databricks Lakebase。
行存储仍然适合读取、修改少量完整记录。原文用「读取一条记录触及一两个缓存行,列存需要访问至少五组数组」解释差异,也用「插入五列需要五次 I/O」解释写入代价。后一个说法只能当示意,缓存、日志和批处理会改变实际 I/O 次数。
列存系统通常用写入缓冲吸收新增记录,再后台合并、批量重写行组。这条路线可以追溯到 2005 年的 C-Store。它能兼顾写入,但代价是更复杂的数据维护流程。
我的判断
原文最有价值的部分,是把数据库选型拉回访问模式:究竟是频繁读写几条完整记录,还是扫描大量记录中的少数列。
但它没有给出统一硬件、数据集、查询和配置下的对照测试。「经常差一个数量级」是作者的概括,不能直接拿来估算迁移收益。文中援引 SIGMOD 2008 研究所得的判断反而更稳妥:布局解释了很大一部分差距,执行和压缩决定潜力能兑现多少。
原文最后提出的诊断公式也不够严谨。「触及行数 × 所需列数 ÷ 总列数」不能直接表示有效字节比例,因为各列宽度可能不同,索引、压缩和跳块也会改变实际读取量。它适合作为提问方向,不适合作为容量公式。
覆盖索引能解决的单条慢查询,未必值得通过迁移数据库解决。 如果大量报表持续扫描业务表,再考虑独立分析引擎或列式文件,通常更有讨论价值。混合方案还需要评估同步延迟和维护成本,原文没有给出这些方面的对照数据。
能拿来做什么
- 排查 Node 服务的慢查询时,先区分单条记录查询与大范围统计,记录返回字段、扫描范围和执行计划中的实际读取情况,别只盯着 SQL 长短。
- 对过滤条件固定、只返回少数字段的接口,先评估覆盖索引,并检查增加索引后的写入成本,用实际执行计划验证是否减少了基表读取。
- 如果后台报表反复扫描大量业务记录中的少数列,可以挑一条代表性查询,在 DuckDB 或 ClickHouse 上验证读取量与耗时,再决定是否引入数据同步链路。
- 让 AI 协助数据库选型时,提供表结构、字段类型、代表性查询及读写模式,并要求它区分布局推算与实测结果,避免只凭「分析用列存」就给出迁移方案。