用 PostgreSQL 实现混合检索
文章介绍用 pgvector 将向量与业务内容放在同一数据库,并通过事务维护写入一致性。实践覆盖分块表结构、关键词与向量结果的倒数排名融合、多租户过滤的召回陷阱,以及效果评估方案。
AI 深度解读
搜索框既要认出料号,也要听懂用户的自然语言描述。作者给出的方案是:在应用现有的 PostgreSQL 里,用 pgvector 做向量检索,再与全文检索合并排序。对几百万个文本块以内的 Web 应用,作者认为这通常已经够用,还能减少两套存储之间的同步问题。
这篇最值得读的部分,是它把方案落到了候选集、租户过滤、内存预算和效果验证上。混合搜索有没有价值,最终要看它能否找回关键词搜索漏掉的答案,以及你愿意为此付出多少延迟和资源。
两路检索为什么值得放进同一个数据库
向量搜索擅长找语义相近的内容,例如用「vehicle maintenance」找到「car oil change」。但 RP-4471-B 这样的料号、ERR_CONNECTION_TIMED_OUT 这样的错误码,未必能靠语义匹配准确命中。
PostgreSQL 的全文检索使用 tsvector 和 tsquery,更适合词项匹配,却容易漏掉不同措辞表达的同一个问题。作者因此让两路搜索各取前 50 个候选,再合并排序,最终返回 10 篇文档。

把两路检索放在 PostgreSQL,另一个理由是数据管理。内容和 embedding 可以在同一事务中提交;租户、权限、软删除、发布状态可以通过关系查询表达;备份、副本和连接池也沿用现有设施。
作者按文档和文本块分表。documents 保存标题等展示信息,chunks 保存片段、租户、位置和向量,通过 ON DELETE CASCADE 跟随文档删除,并以 UNIQUE (document_id, chunk_index) 约束位置。原文称有「三张表」,但实际 DDL 只有两张,第三项是查询层。
文本块采用 vector(1536),用 model 记录 text-embedding-3-small。全文列通过 to_tsvector('english', content) 生成,配 GIN 索引;向量配 HNSW 索引,参数为 m = 16, ef_construction = 64,另建文档和租户索引。
同库事务能保证一起提交,但不能自动保证 embedding 对应最新内容。
生成列 content_tsv 会随正文更新,embedding 却仍需应用重新计算。原文对「同一行就不会发生旧向量」的表述过满,更新流程仍然是前提。
两路分数不能直接加,先把它们变成名次
ts_rank_cd 的分数与余弦距离不在同一尺度。作者使用倒数排名融合(Reciprocal Rank Fusion,RRF),只比较名次:
score(d) = 1 / (k + rank_lexical(d)) + 1 / (k + rank_semantic(d))
默认 k = 60,前 50 名单路贡献从 1/61 到 1/110。同时进入两路候选的片段会得到两份贡献;某一路没有命中,则该路贡献为零。
下面保留原查询:$1 是用户文本,$2 是租户,$3 是查询向量,它完成候选融合和文档去重。
-- 事务内设置。ef_search 用延迟换取召回率;
-- relaxed_order 允许过滤扫描继续遍历图。
SET LOCAL hnsw.ef_search = 100;
SET LOCAL hnsw.iterative_scan = relaxed_order;
WITH lexical AS MATERIALIZED (
SELECT c.id, c.document_id,
row_number() OVER (ORDER BY ts_rank_cd(c.content_tsv, q) DESC) AS rank
FROM chunks c, websearch_to_tsquery('english', $1) q
WHERE c.tenant_id = $2
AND c.content_tsv @@ q
ORDER BY ts_rank_cd(c.content_tsv, q) DESC
LIMIT 50
),
semantic AS MATERIALIZED (
SELECT c.id, c.document_id,
row_number() OVER (ORDER BY c.embedding <=> $3) AS rank
FROM chunks c
WHERE c.tenant_id = $2
ORDER BY c.embedding <=> $3
LIMIT 50
),
fused AS (
SELECT coalesce(l.id, s.id) AS chunk_id,
coalesce(l.document_id, s.document_id) AS document_id,
coalesce(1.0 / (60 + l.rank), 0.0)
+ coalesce(1.0 / (60 + s.rank), 0.0) AS score
FROM lexical l
FULL OUTER JOIN semantic s USING (id)
),
best_per_document AS (
SELECT DISTINCT ON (document_id) document_id, chunk_id, score
FROM fused
ORDER BY document_id, score DESC
)
SELECT d.id, d.title, d.source_url, b.score
FROM best_per_document b
JOIN documents d ON d.id = b.document_id
ORDER BY b.score DESC
LIMIT 10;
要盯住 DISTINCT ON (document_id):它只保留每篇文档得分最高的片段,避免同一本手册占满结果页。FULL OUTER JOIN 则保证单路为空仍有结果。SET LOCAL 必须放在事务内使用。
作者用 MATERIALIZED 固定候选阶段,因为 Postgres 12 及以后允许部分 CTE 内联。但内联不等于 SQL 的 LIMIT 会失效,实际收益仍要看执行计划。RRF 分数也只能用于当前结果集排序,不能跨查询充当相关性指标;作者认为 k 低于约 20 后,单路第一名容易过度主导。
分块还有两条经验:重叠窗口可按文档内内容哈希去重;标题和小节名应在 embedding 前加入片段。对一份 40 页手册只生成一个向量,会把不同主题混在一起。
多租户过滤和内存,才是上线后的硬约束
近似向量索引的陷阱是:先扫描候选,再应用过滤。过滤条件如果只匹配 10% 的行,默认 hnsw.ef_search = 40 时,可能只剩约 4 个候选。融合算法再好,也补不回没进入候选集的答案。

pgvector 0.8.0 起支持迭代扫描。hnsw.iterative_scan = relaxed_order 会继续寻找合格候选,直到满足需求或触及 hnsw.max_scan_tuples,后者默认 20,000。strict_order 保持距离顺序;IVFFlat 对应 ivfflat.iterative_scan 和 ivfflat.max_probes。
作者建议按事务调整 hnsw.ef_search。少数大租户可以考虑部分索引,例如 5 个大租户;5,000 个小租户就不能轻易照搬。数据超过几百万块时,作者建议考虑按租户分区。
内存也要提前算。1536 维 float32 向量占 1,536 × 4 = 6,144 字节,100 万块约 6.1 GB;在 m = 16 下,作者还估算每节点约有 128 字节图连接开销,另加页面开销。
halfvec 可把同维度向量降至 3,072 字节,并通过表达式索引保留原列精度;binary_quantize 可压至 192 字节,用于初筛后再对前 200 条全精度重排。这些数字是容量估算,不是实测性能保证。
作者偏向用 HNSW 承接持续写入,但没有提供与 IVFFlat 的对照测试。建索引建议先装载数据,再用 CREATE INDEX CONCURRENTLY 构建;若图超出 maintenance_work_mem,构建会变慢。「空表逐步写入必然得到更差的图」同样缺少实验支持。
我的判断
我赞同把现有 PostgreSQL 作为第一候选。减少同步链路是明确收益,RRF 也提供了容易理解的融合起点。但「几百万块够用」只是经验判断,维度、租户分布、并发和硬件都会改变边界。
国内团队还要留意语言配置:示例固定使用 'english',没有说明中文分词;料号和错误码也不能默认被全文解析器当作完整字符串保留。要求精确匹配的标识符,应单独验证处理方式。
作者建议收集 50 到 100 条真实查询,对比纯关键词、纯向量、k = 60 的混合检索,以及加入重排模型的方案,统计 Recall@10、MRR@10 和连接池饱和时的 p95。这里所谓 Recall@10,定义为「前十条至少出现一个正确文档的查询比例」,更接近 Hit Rate@10,评测时需要统一口径。
原文没有给出四组实际结果。p95 低于 150 ms、召回与最佳方案相差不超过 2 个百分点,都是建议预算,并非已达成的成绩。点击结果来自哪一路也只是线索,还需结合基线判断是否产生新增收益。
能拿来做什么
- 给现有 Node 搜索接口建立评测集,纳入自然语言、料号和错误码查询,先确认关键词搜索具体漏掉了什么。
- 用真实租户运行
EXPLAIN (ANALYZE, BUFFERS),检查候选数量和索引使用情况,再调整扫描参数。 - 更换模型时采用第二列迁移:新增
embedding_v2 halfvec(1536)、model_v2,并发建索引,分批回填并双写;回填和切换后执行ANALYZE,同时确保 autovacuum 跟得上。 - 通过开关切流并保留旧搜索路径。作者建议观察一个月,确认召回相当且 p95 更好后,再移除独立搜索系统。