用 Node.js 给 RAG 加上 CI 回归检查
文章用 Node.js 内置测试运行器和一组真实问题,在 CI 中检查预期文档是否进入检索前列、生成答案是否包含必需事实。用例还覆盖文档中没有答案时,系统能否明确表示无法回答。
AI 深度解读
RAG 上线前手问几道题,答案看着都对。等文档更新、切块参数调整,检索结果可能已经变差,团队却要等用户反馈才发现。作者给出了一套可以放进 CI 的回归测试,用 Node.js 自带的测试运行器,零依赖就能跑。
这套测试只盯两件事:该找到的文档有没有进前几名,最终回答有没有包含关键事实,或者在资料缺失时明确说查不到。对维护知识库问答的前端和全栈开发者来说,它能把一次线上投诉变成下次合并前就能看到的失败用例。

为什么要把检索和回答分开测
先把真实问题存成一份可版本化的用例文件。每条记录包含问题 q、预期命中的文档 expectDoc,以及回答必须包含的短语 mustSay。比如退款问题要找到 refund-policy,回答里要出现 14 days。资料里没有答案的问题也要留几道,把 expectDoc 设为 null,再用 mustSay 检查系统有没有明确承认没找到。
检索检查只对有预期文档的问题计算命中率。只要目标文档出现在前 k 条结果里,这道题就算命中。回答检查则逐题看最终文本。这样一来,如果两项检查都失败,可以先排查索引和切块。如果检索通过、回答失败,还得看生成时实际拿到了哪份材料。文档排进前两名,只能说明它进了候选名单。
四条用例怎么放进 CI
下面的代码用三份文档和四条用例跑通两项检查。检索器按英文词重合数排序,回答函数直接返回排名第一的文档正文。
const test = require("node:test");
const assert = require("node:assert");
// A tiny corpus and a naive retriever. Swap these two for your real index and model call.
const docs = [
{ id: "refund-policy", text: "Refunds are issued within 14 days of delivery for unused items." },
{ id: "shipping-times", text: "Standard shipping takes 3 to 5 business days within the country." },
{ id: "warranty", text: "Electronics carry a 12 month warranty against manufacturing defects." },
];
const STOP = new Set(["a", "an", "the", "do", "does", "is", "there", "you", "i", "for", "on", "of", "to", "have", "how", "many"]);
const tokens = (s) => (s.toLowerCase().match(/[a-z0-9]+/g) || []).filter((w) => !STOP.has(w));
function retrieve(question, k = 2) {
const words = new Set(tokens(question));
return docs
.map((d) => ({ id: d.id, score: tokens(d.text).filter((w) => words.has(w)).length }))
.sort((a, b) => b.score - a.score)
.slice(0, k)
.filter((r) => r.score > 0);
}
function answer(question) {
const top = retrieve(question, 1)[0];
if (!top) return "I couldn't find that in the documents.";
return docs.find((d) => d.id === top.id).text;
}
const cases = [
{ q: "How many days do I have to ask for a refund?", expectDoc: "refund-policy", mustSay: "14 days" },
{ q: "How long does standard shipping take?", expectDoc: "shipping-times", mustSay: "3 to 5 business days" },
{ q: "Is there a warranty on electronics?", expectDoc: "warranty", mustSay: "12 month" },
{ q: "Do you sell gift cards for pets?", expectDoc: null, mustSay: "couldn't find" },
];
test("retrieval finds the right document (hit rate at k=2)", () => {
const withDoc = cases.filter((c) => c.expectDoc);
const hits = withDoc.filter((c) => retrieve(c.q, 2).some((r) => r.id === c.expectDoc)).length;
const hitRate = hits / withDoc.length;
assert.ok(hitRate >= 0.9, `hit rate ${hitRate.toFixed(2)} is below 0.90`);
});
test("answers contain the required fact, or refuse when nothing matches", () => {
for (const c of cases) {
assert.ok(answer(c.q).includes(c.mustSay), `"${c.q}" -> answer is missing "${c.mustSay}"`);
}
});
留意 const top = retrieve(question, 1)[0] 这一行。检索断言看前两名,示例回答只读第一名。如果正确文档降到第二名,检索可能绿灯,回答仍会报错。样例里只有三道有答案的题,0.9 的门槛实际上要求三道全中。将代码保存为 rag-eval.test.js,运行 node --test rag-eval.test.js,断言失败会以非零状态码退出,CI 任务也会失败。
一道无答案题抓住了什么
作者首跑时,问的是有没有宠物礼品卡,检索器却因为一个 for 把退款文档当成了相关资料。加上停用词表后,这个用例和其余检查都通过了。
作者用这个失误类比向量检索里的问题:用户问的事超出了知识库范围,索引却依然能排出一条看起来沾边的结果。这正是无答案用例要测的行为。接入真实索引后,即使检索返回了候选,回答也要能在证据不足时明确说查不到。
我的判断
我赞成先保存真实问题,再调切块、排序或提示词。人工点测能发现意外问题,固定题集则能把同一道题反复拿来比较。作者实测的是这套小样例,也报告了停用词修复前后的表现。至于它在生产中能拦住多少回归、0.9 是否适合别的团队,原文没有对照数据,这部分是经验之谈。
短语断言适合卡住期限、数字这类明确事实。它也容易漏掉限定条件。回答只说 14 days,哪怕遗漏「从收货起算」和「商品未使用」,照样会通过。接入真实模型后,表达正确但措辞变化的答案也可能被判失败。每月人工抽查一小组样例,可以专门看完整性和限定条件。模型评分可以等团队验证过评分口径再加。示例的零依赖和零模型调用成本来自本地实现,换成真实模型后,测试的耗时和成本需要重新计算。
能拿来做什么
- 从客服工单或站内搜索日志抽一小批真实问题,记下预期文档和必须保留的事实,留几道知识库确实回答不了的题,每隔几周更新一次。
- 把题集和 Node.js 测试放进问答管线所在的仓库。文档、切块参数、提示词或模型版本有变更时,在 PR 里跑。如果文档由仓库外的系统维护,就加一个夜间任务。
- 在 CI 日志里打印失败问题、预期文档和实际命中的文档 ID。修改题集时按代码评审,尤其要确认删掉的题是否对应一条仍可能复发的用户反馈。