8.0
热点
AI SCORE
编程提效2026-08-18 13:30
本地检索新范式:SQLite FTS5 + ONNX 替代向量数据库
dev.to · AI#本地RAG#SQLite#ONNX
Editor brief · 编辑速览
用 SQLite FTS5 做关键词检索、ONNX 本地嵌入做语义排序,构建轻量级本地检索层,2000 个文本块每次查询仅耗数百 token,无需云服务。
我的知识库横跨数千个 Markdown 文件。找一个事实意味着要读完整整个文件。关键词搜索找到的是词,不是含义。而读完整文件会燃烧大量 token:为了找出某一个事实,需要消耗数以万计的 token。真正的指标不是存储,而是每次回答消耗的 token。
为什么不使用常规工具?
grep 能找到文件,但你还是要读它。成本没变。
云端向量数据库会把私人笔记发送到外部,而且为一个 2 MB 的语料库还要额外添置基础设施。
纯语义的搜索无法做精确过滤。
我构建的方案:一个本地优先的检索层。
SQLite FTS5 索引:即时关键词搜索、精确过滤、真实的 file:line 引用。
本地 ONNX 嵌入(384 维):语义排序。每个命中结果都指向真实文件。
一条命令重建。索引是派生出来的,所以永远不会过期。
结果:2000 个 chunk,一条 CLI,零服务器。现在一次回答只需消耗几百个 token,而不是遍历数千个文件。
从确定性开始。在关键词失效的地方加入语义。频繁重建。

我们是一个让程序员分享、保持最新和拓展职业生涯的地方。