零依赖零云费用：用SQLite内置向量能力搭建语义搜索

零依赖零云费用：用SQLite内置向量能力搭建语义搜索 | 前端进阶之旅

Full translation

完整中文译文

了解如何仅用 SQLite 和一个 Python 脚本创建一个高性能、零依赖的向量数据库和语义搜索系统。全部运行在每月 5 美元的 VPS 上，无需任何云端 AI 服务。

现代 AI 记忆栈的问题

构建语义搜索或检索增强生成（RAG）系统，传统做法是注册托管式向量数据库（如 Pinecone 或 Weaviate）、付费调用嵌入 API，还要设计多个微服务之间通过网络通信的架构。对于独立开发者或初创公司而言，这些依赖、云账单和运维复杂性很快就会缠绕成一团乱麻——而你甚至还没开始写核心应用逻辑的一行代码。

如果能把整个技术栈压缩成一个你很可能已经在用的、久经考验的单项技术呢？如果你的整个 AI 记忆层都存活在一个文件里、零外部服务依赖、可以部署在最便宜的 VPS 上呢？这不是理论上的练习。这是一种实用的、生产就绪的架构，利用了 SQLite 卓越的可扩展性。

核心技术栈介绍：SQLite + sqlite-vec + 本地嵌入

魔力来自三个协同工作的组件：

SQLite：无处不在的基于文件的关系统数据库引擎。我们利用它的稳定性、利用 Write-Ahead Logging（WAL）模式实现并发、以及它处理结构化数据和全文搜索的能力。

sqlite-vec：这是关键所在。它是一个可加载的 SQLite 扩展，添加了向量操作。它不只是存储向量；它让你能用标准 SQL 运行快速的近似最近邻（ANN）搜索。它是一个真正的、零依赖的向量数据库，就存在于你的 SQLite 文件里。

本地嵌入：不再调用外部 API，我们直接在 Python 应用中运行一个小型、高效的嵌入模型，比如来自 Sentence Transformers 库的 all-MiniLM-L6-v2。这个模型生成高质量的 384 维向量，在不到 100MB 内存中运行。

这个技术栈意味着你的文本、元数据、向量索引和搜索逻辑都存放在一个 your_database.db 文件里。搜索无需网络调用、没有供应商锁定、向量化操作没有重复费用。

步步为营：30 行 Python 实现语义搜索

让我们构建一个具体例子：一个个人 AI 助手的记忆系统，能够基于语义含义（而非仅仅关键词）回忆之前的对话。

1. 安装设置

pip install sqlite-vec sentence-transformers # 只需两个依赖！
# 从 GitHub 下载适合你操作系统的 sqlite-vec 扩展二进制文件
# 并放到你的项目文件夹中。

2. 核心实现

import sqlite3
import sqlite_vec
import numpy as np
from sentence_transformers import SentenceTransformer

# 加载嵌入模型（本地运行）
model = SentenceTransformer('all-MiniLM-L6-v2')

# 连接 SQLite 并加载向量扩展
db = sqlite3.connect('memory.db', load_extension=True)
sqlite_vec.load(db)
db.execute("CREATE VIRTUAL TABLE IF NOT EXISTS vec_memory USING vec0(content_embedding float[384]);")

# 为一些文档建立索引
documents = ["User asked about setting up a firewall on Ubuntu.", 
             "I explained the difference between UFW and iptables.",
             "The project uses a Python FastAPI backend with a React frontend."]

for doc in documents:
    embedding = model.encode(doc)
    # 同时存储内容和向量
    db.execute("INSERT INTO documents (content) VALUES (?);", (doc,))
    doc_id = db.execute("SELECT last_insert_rowid();").fetchone()[0]
    db.execute("INSERT INTO vec_memory (rowid, content_embedding) VALUES (?, ?);", 
               (doc_id, embedding.tobytes()))
db.commit()

# 执行语义搜索
query = "How did I configure the network security?"
query_embedding = model.encode(query)
results = db.execute("""
    SELECT d.content, vec_distance_cosine(m.content_embedding, ?) as distance
    FROM vec_memory m
    JOIN documents d ON d.rowid = m.rowid
    ORDER BY distance ASC
    LIMIT 3;
""", (query_embedding.tobytes(),)).fetchall()

for content, distance in results:
    print(f"Distance: {distance:.4f} | Content: {content}")

这个脚本创建了一个自包含的记忆存储。对"network security"的搜索正确地首先返回了防火墙和 UFW/iptables的结果，展示了真正的语义理解能力——全程没有一次对云服务的 API 调用。

精打细算的性能：5 美元 VPS 基准测试

我们将这个技术栈部署在 DigitalOcean 的"Basic"Droplet 上（5 美元/月：1 vCPU、1GB RAM、25GB SSD）。我们对 10 万个文本片段（平均每个 50 tokens）及其对应的 384 维向量建立了索引。

结果颇有说明力：

指标	结果
索引时间	整个语料库约 15 分钟。这是一次性的离线成本。
搜索延迟	余弦相似度搜索的 P95 延迟为 12ms。这比许多调用云向量数据库的网络延迟还快——后者通常有 50-100ms 的网络往返开销。
存储占用	整个数据库（文本 + 向量）在磁盘上占用了 310MB。SQLite 文件保持为单一的、可移植的实体。
内存使用	搜索操作期间，Python 进程使用不到 80MB 内存，完全在 VPS 限制范围内。

关键结论：通过消除网络跳转，并使用像 sqlite-vec 这样优化的 C 语言扩展，你实现了"边缘原生"性能。你的语义搜索与应用在同一个进程、同一台机器上发生，极大降低了延迟。

进阶策略：扩展和运营你的向量 SQLite 技术栈

这个架构不是玩具。通过精心工程，它能服务相当大的工作负载。

并发：使用 SQLite 的 WAL 模式。它允许多个读者和单个写者同时操作，非常适合 Web 应用在偶尔索引新数据的同时提供搜索查询服务。

索引优化：sqlite-vec 中的 vec0 虚拟表自动创建基于图的索引（HNSW），用于快速 ANN 搜索。你可以调优其参数（ef_search、ef_construction），在精度和速度之间取得适合你使用场景的平衡。

备份与可移植性：因为是一个文件，备份轻而易举。你可以 cp memory.db memory_backup.db，或者使用 SQLite 内置的备份 API 获取一致性快照。迁移服务器就像复制文件一样简单。

零依赖的特性也意味着更简单的安全模型。没有外部 API 的密钥要管理，没有额外的网络端口要保护，与基于微服务的架构相比，攻击面大大缩小。

不要再租用你的 AI 记忆了。拥有它。今天就用 SQLite 作为核心，部署一个快速、可靠、零成本的语义搜索系统。

最初发表于 tormentnexus.site