为 n8n 智能体建立上线前回归测试
教程通过固定输入、小型测试集、自动检查和版本比较,评估提示词或模型调整后的效果。它建议将智能体逻辑抽成子工作流,让生产入口和测试入口调用同一份逻辑。
AI 深度解读
n8n 里的 AI Agent,前五次试用表现不错,并不能证明它能稳定上线。改一句 prompt、换一个模型,甚至客户换种问法,都可能让原来正常的回答出错。作者给出的办法很轻量:固定输入、积累用例、自动检查,再用同一批题比较新旧版本。
这套方法值得看的地方,是把「感觉回答变好了」变成可以追查的结果。不过,原文提供的是操作方案,没有展示实际通过率或对照实验;其中的检查代码,也有需要补上的漏洞。
先把 Agent 拆出来,固定输入才有意义
作者建议,把 Agent 的逻辑放进子工作流,通过 Execute Workflow 调用。WhatsApp webhook、表单、Gmail 等触发器负责接收消息,再整理成统一输入。
下面这段数据解决的是入口格式不一致的问题,让生产入口和测试入口能够调用同一套逻辑:
{ "message": "Bonjour, vous livrez à Rabat ?", "canal": "whatsapp", "langue": "fr" }
要关注这一行里的 message、canal 和 langue:消息、渠道、语言都进入了输入约定。测试时,应当传入 Agent 实际依赖的上下文,不能只测一句脱离环境的问题。
接下来才是 Pin data。先用真实消息跑一次触发器,把节点输出固定下来,之后在编辑器里手动执行,就能反复使用同一份数据,不用每改一次 prompt 都重新发消息。
但它只是调试便利功能。固定一条输入方便复现,固定一组用例才能检查回归。 而且原文明确说明,固定数据只用于编辑器里的手动执行,不用于生产执行。
作者建议从 15 到 30 个用例起步,来源优先选匿名化后的真实消息。语言要覆盖客户实际使用的法语、拉丁字母书写的 darija、阿拉伯语等,也要加入跑题、诱导泄露 prompt、需要人工处理的问题。每发现一个线上 bug,就补一个用例。
自动检查能省事,但别让「没检查」变成「通过」
测试工作流的路径很直接:Google Sheets → Get rows 读取用例,Loop Over Items 逐条处理,Execute Workflow 调用 Agent 子工作流,再由 Code 节点检查,最后通过 Google Sheets → Append 写入结果页,记录日期和被测版本。
下面是原文的检查代码,Code 节点使用 Run Once for Each Item 模式,用来判断回答是否包含指定内容、是否避开禁用内容,以及分类是否符合预期:
const cas = $('Get rows').item.json;
const reponse = String($json.output || '').toLowerCase();
const checks = [];
if (cas.attendu_contient) {
checks.push({ test: 'contient', ok: reponse.includes(cas.attendu_contient.toLowerCase()) });
}
if (cas.interdit) {
checks.push({ test: 'interdit', ok: !reponse.includes(cas.interdit.toLowerCase()) });
}
if (cas.categorie_attendue && $json.categorie) {
checks.push({ test: 'categorie', ok: $json.categorie === cas.categorie_attendue });
}
return {
id: cas.id,
version: 'prompt-v3',
reussi: checks.every(c => c.ok),
details: JSON.stringify(checks),
reponse: $json.output,
};
要特别检查 if (cas.categorie_attendue && $json.categorie) 这一行:如果用例要求返回分类,Agent 却没有返回 categorie,分类检查会被跳过。另一个问题是,空数组执行 checks.every(c => c.ok) 也会得到 true。没有配置任何有效断言的用例,可能因此被记成通过。
这不影响方法成立,但说明示例代码还不能直接当成上线门禁。
关键词匹配也有边界。它能发现某个词消失了,却很难判断回答是否答非所问。同一个意思换种表达可能被误判,错误回答带着关键词又可能过关。因此,作者建议优先检查分类、布尔值、是否需要人工介入等结构化字段。
对于自由文本,可以增加第二个 LLM 当评审,只问短而明确的问题,例如「回答是否编造了价格」,要求回答是或否。作者同时提醒,要人工抽查,因为评审模型也会出错。原文提到部分 n8n 版本有内置评估功能,但没有给出具体版本和选项名称,不能据此假定自己的实例一定支持。
比较版本,要看哪些题退步了
改 prompt 或模型前,先用当前版本跑完整套用例,标记为 prompt-v2;修改后再跑一次,标记为 prompt-v3。除了比较通过数量,还要逐条看状态发生变化的用例。
作者的部署原则是:旧版本能过、新版本失败的案例,在弄清原因前不要放行。这个规则抓住了回归测试的重点,因为总分提高,仍然可能掩盖关键场景退步。
执行时还有三个条件。
第一,每轮测试会按用例数量调用模型,需要考虑费用和配额。供应商限制速率时,可以加入 Wait。
第二,Agent 如果能发送消息、创建订单,子工作流需要接受 mode: "test",并在这个模式下禁用真实动作。参数本身不会自动拦住工具调用,相关分支必须落实。
第三,模型回答有随机性。低温度有助于减少波动,关键用例可以重复两三次。真实消息进入共享表格前,还要完成匿名化。
我的判断
我认同这套方案的优先级:先让输入可复现,再讨论回答质量。对于已经用 n8n 串起业务流程的小团队,它比每次改完都人工随手问几句,更容易留下可比较的证据。
但「15 到 30 个用例够起步」是经验建议,原文没有给出覆盖率、漏检率或上线效果数据。作者提到他们团队为摩洛哥中小企业建设 Agent 时使用这类保护措施,也没有展示具体实验结果。
它的测试边界同样要认清:直接调用子工作流,可以检查 Agent 逻辑,却没有覆盖真实 webhook 接收和入口字段转换。相较完整链路测试,它更轻、更适合频繁执行,但上线前仍要验证入口能否正确把数据传进来。
我会采用它的流程,同时修正缺失字段和空断言的处理。LLM 评审则作为补充证据;涉及价格、订单和人工转接的明确条件,应尽量落到可核对的字段上。
能拿来做什么
- 如果你用 n8n 接表单、客服消息或邮件,先把 Agent 抽成可独立调用的子工作流,让生产入口和测试入口共用它。
- 建一个包含 15 到 30 条匿名真实消息的用例表,每条写清预期结果和禁止行为,线上 bug 修复后同步补题。
- 把分类、是否转人工等结果输出为结构化字段,并规定缺失必需字段、没有有效断言时不能自动通过。
- 每次改 prompt 或模型,都保存新旧版本的结果并检查状态变化;带发消息或建订单工具的流程,先落实
mode: "test"对真实动作的禁用。