在 Kubernetes 上部署有状态向量库
以 Milvus 和 Qdrant 为例,文章解释 StatefulSet 如何为每个副本提供稳定的 DNS 名称、独立的持久卷和有序的启动流程。这些机制有助于副本重启后保留原有身份和数据。
AI 深度解读
Qdrant 的 Pod 重启后,IP 可以变,但集群得知道回来的还是原来那个成员,向量索引也得有盘可读。原文用 Kubernetes StatefulSet 给每个副本固定名称和独立存储,再让后续节点通过第一个节点加入集群。
这套配置能解决哪些问题,取决于你在验证哪一层。作者在 K3d 上跑通了三个 Pod 和三份存储声明,用的是 nginx。如果你准备把向量检索接进自己的服务,还得单独验证 Qdrant 的入群、数据复制和故障后的读写。
Pod 换了 IP,集群怎么认出它?
StatefulSet 会给副本分配固定序号。qdrant-0 被重建后,新的 Pod 可以拿到不同的 IP,但仍能通过 qdrant-0.qdrant-headless.ai-platform.svc.cluster.local 找到它。这里的 qdrant-headless 是无头 Service,clusterIP: None 让客户端能通过 DNS 找到具体 Pod。对需要指定入群地址的数据库来说,这个稳定的名字比记住某次启动的 IP 更实用。
存储也按序号绑定。volumeClaimTemplates 会为每个副本创建自己的持久卷声明(PVC),Pod 重建后可以继续挂载对应的卷。原文把 Deployment 描述为多个 Pod 共用一份声明,这只适用于 Pod 模板引用同一份 PVC 的配置。StatefulSet 在这个场景里的优势,是可以直接声明「每个副本各有一份」。
OrderedReady 让 Pod 按序启动,qdrant-0 就绪后才继续创建 qdrant-1。按序缩容时则从高序号开始,依次移除 qdrant-2、qdrant-1、qdrant-0。顺序能减少计划内操作同时影响多个成员的机会,机器故障仍可能同时带走多个 Pod。
三个 Qdrant 副本怎么组成集群?
下面这份配置给三个副本分别挂盘,并让 qdrant-1 和 qdrant-2 通过 qdrant-0 入群。
apiVersion: v1
kind: Service
metadata:
name: qdrant-headless
namespace: ai-platform
spec:
clusterIP: None
selector: { app: qdrant }
ports:
- { name: http, port: 6333 }
- { name: internal-p2p, port: 6335 }
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: qdrant
namespace: ai-platform
spec:
serviceName: qdrant-headless
replicas: 3
podManagementPolicy: OrderedReady
selector:
matchLabels: { app: qdrant }
template:
metadata:
labels: { app: qdrant }
spec:
containers:
- name: qdrant
image: qdrant/qdrant:v1.9.0
env:
- { name: QDRANT__CLUSTER__ENABLED, value: "true" }
- { name: QDRANT__CLUSTER__P2P__PORT, value: "6335" }
command: ["/bin/sh", "-c"]
args:
- |
HOST="$(hostname).qdrant-headless"
if [ "$(hostname)" = "qdrant-0" ]; then
./qdrant --uri "http://${HOST}:6335"
else
./qdrant --bootstrap "http://qdrant-0.qdrant-headless:6335" --uri "http://${HOST}:6335"
fi
ports:
- { name: http, containerPort: 6333 }
- { name: p2p, containerPort: 6335 }
resources:
requests: { cpu: "1000m", memory: 2Gi }
limits: { cpu: "2000m", memory: 4Gi }
volumeMounts:
- { name: qdrant-data, mountPath: /qdrant/storage }
volumeClaimTemplates:
- metadata: { name: qdrant-data }
spec:
accessModes: [ReadWriteOnce]
resources:
requests: { storage: 20Gi }
重点看带 --bootstrap 的那一行。它指定已有成员的地址,--uri 则告诉其他成员到哪里找当前节点。示例固定在 qdrant/qdrant:v1.9.0,作者提醒集群启动参数在不同版本间有过变化,换镜像时要核对这两个参数。
为什么这里选三个副本?Raft 要过半节点同意才能达成共识。一个节点和两个节点都容忍不了成员故障,三个能少一个,五个能少两个。这算的是集群还能不能达成共识。某个向量分片能否继续读写,还得看它有没有可用的副本。
作者在 K3d 上实际验证了什么?
作者执行了 kubectl apply -f statefulset.yaml,跑的是缩小版配置。镜像换成 nginx:1.27-alpine,每份 ReadWriteOnce 声明申请 1Gi。输出里 qdrant-0 到 qdrant-2 都是 Running,data-qdrant-0 到 data-qdrant-2 都是 Bound,无头 Service 的 clusterIP 显示为 None。
这些结果确认了 Pod 的命名、PVC 的绑定和 Service 的配置。那份最小清单连 volumeMounts 都没配,原文也没有展示重启后读回数据、Qdrant 节点成功入群,或节点故障时检索请求还能不能完成。
我的判断
如果团队要在 Kubernetes 里自建 Qdrant 集群,StatefulSet 省下的是自己维护成员地址和磁盘对应关系的工作。调用向量检索的 Node API 本身如果是无状态的,继续用 Deployment 就合适。两者的分工取决于服务重建时要带回哪些状态。
原文说稳定身份有助于避免大索引重新同步,这是工程经验,文中没有对照数据。至于停一个节点后业务能否继续,除了 Raft 多数派,还要看分片副本是否可用,以及 Pod 有没有集中在同一台机器上。标题也提到了 Milvus,但正文只给了 Qdrant 的配置和 nginx 演示。
能拿来做什么
- 想先验证 Kubernetes 的行为,可以用 K3d 跑最小示例,确认三个 Pod 和三份 PVC 对应起来。再挂载卷写入测试文件,重建一个 Pod 后读回,补上原演示没覆盖的持久化验证。
- 换上实际使用的 Qdrant 镜像后,先核对
--bootstrap和--uri,再确认三个成员已入群、测试集合的分片副本已就位。配置就绪探针时,检查它是否能反映当前 Pod 可用,避免首个节点一直等后续节点而卡住OrderedReady。 - 从 Node 检索接口发起一次故障测试。写入一批已知向量,停掉一个 Qdrant Pod,观察请求是否超时或报错,再在 Pod 恢复后核对检索结果。