基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-17 16:25

为 n8n 智能体建立上线前回归测试

dev.to · AI#智能体#自动化测试#n8n
Editor brief · 编辑速览

教程通过固定输入、小型测试集、自动检查和版本比较,评估提示词或模型调整后的效果。它建议将智能体逻辑抽成子工作流,让生产入口和测试入口调用同一份逻辑。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

n8n 里的 AI Agent,前五次试用表现不错,并不能证明它能稳定上线。改一句 prompt、换一个模型,甚至客户换种问法,都可能让原来正常的回答出错。作者给出的办法很轻量:固定输入、积累用例、自动检查,再用同一批题比较新旧版本。

这套方法值得看的地方,是把「感觉回答变好了」变成可以追查的结果。不过,原文提供的是操作方案,没有展示实际通过率或对照实验;其中的检查代码,也有需要补上的漏洞。

先把 Agent 拆出来,固定输入才有意义

作者建议,把 Agent 的逻辑放进子工作流,通过 Execute Workflow 调用。WhatsApp webhook、表单、Gmail 等触发器负责接收消息,再整理成统一输入。

下面这段数据解决的是入口格式不一致的问题,让生产入口和测试入口能够调用同一套逻辑:

{ "message": "Bonjour, vous livrez à Rabat ?", "canal": "whatsapp", "langue": "fr" }

要关注这一行里的 message、canal 和 langue:消息、渠道、语言都进入了输入约定。测试时,应当传入 Agent 实际依赖的上下文,不能只测一句脱离环境的问题。

接下来才是 Pin data。先用真实消息跑一次触发器,把节点输出固定下来,之后在编辑器里手动执行,就能反复使用同一份数据,不用每改一次 prompt 都重新发消息。

但它只是调试便利功能。固定一条输入方便复现,固定一组用例才能检查回归。 而且原文明确说明,固定数据只用于编辑器里的手动执行,不用于生产执行。

作者建议从 15 到 30 个用例起步,来源优先选匿名化后的真实消息。语言要覆盖客户实际使用的法语、拉丁字母书写的 darija、阿拉伯语等,也要加入跑题、诱导泄露 prompt、需要人工处理的问题。每发现一个线上 bug,就补一个用例。

自动检查能省事,但别让「没检查」变成「通过」

测试工作流的路径很直接:Google Sheets → Get rows 读取用例,Loop Over Items 逐条处理,Execute Workflow 调用 Agent 子工作流,再由 Code 节点检查,最后通过 Google Sheets → Append 写入结果页,记录日期和被测版本。

下面是原文的检查代码,Code 节点使用 Run Once for Each Item 模式,用来判断回答是否包含指定内容、是否避开禁用内容,以及分类是否符合预期:

const cas = $('Get rows').item.json;
const reponse = String($json.output || '').toLowerCase();

const checks = [];
if (cas.attendu_contient) {
  checks.push({ test: 'contient', ok: reponse.includes(cas.attendu_contient.toLowerCase()) });
}
if (cas.interdit) {
  checks.push({ test: 'interdit', ok: !reponse.includes(cas.interdit.toLowerCase()) });
}
if (cas.categorie_attendue && $json.categorie) {
  checks.push({ test: 'categorie', ok: $json.categorie === cas.categorie_attendue });
}

return {
  id: cas.id,
  version: 'prompt-v3',
  reussi: checks.every(c => c.ok),
  details: JSON.stringify(checks),
  reponse: $json.output,
};

要特别检查 if (cas.categorie_attendue && $json.categorie) 这一行:如果用例要求返回分类,Agent 却没有返回 categorie,分类检查会被跳过。另一个问题是,空数组执行 checks.every(c => c.ok) 也会得到 true。没有配置任何有效断言的用例,可能因此被记成通过。

这不影响方法成立,但说明示例代码还不能直接当成上线门禁。

关键词匹配也有边界。它能发现某个词消失了,却很难判断回答是否答非所问。同一个意思换种表达可能被误判,错误回答带着关键词又可能过关。因此,作者建议优先检查分类、布尔值、是否需要人工介入等结构化字段。

对于自由文本,可以增加第二个 LLM 当评审,只问短而明确的问题,例如「回答是否编造了价格」,要求回答是或否。作者同时提醒,要人工抽查,因为评审模型也会出错。原文提到部分 n8n 版本有内置评估功能,但没有给出具体版本和选项名称,不能据此假定自己的实例一定支持。

比较版本,要看哪些题退步了

改 prompt 或模型前,先用当前版本跑完整套用例,标记为 prompt-v2;修改后再跑一次,标记为 prompt-v3。除了比较通过数量,还要逐条看状态发生变化的用例。

作者的部署原则是:旧版本能过、新版本失败的案例,在弄清原因前不要放行。这个规则抓住了回归测试的重点,因为总分提高,仍然可能掩盖关键场景退步。

执行时还有三个条件。

第一,每轮测试会按用例数量调用模型,需要考虑费用和配额。供应商限制速率时,可以加入 Wait。

第二,Agent 如果能发送消息、创建订单,子工作流需要接受 mode: "test",并在这个模式下禁用真实动作。参数本身不会自动拦住工具调用,相关分支必须落实。

第三,模型回答有随机性。低温度有助于减少波动,关键用例可以重复两三次。真实消息进入共享表格前,还要完成匿名化。

我的判断

我认同这套方案的优先级:先让输入可复现,再讨论回答质量。对于已经用 n8n 串起业务流程的小团队,它比每次改完都人工随手问几句,更容易留下可比较的证据。

但「15 到 30 个用例够起步」是经验建议,原文没有给出覆盖率、漏检率或上线效果数据。作者提到他们团队为摩洛哥中小企业建设 Agent 时使用这类保护措施,也没有展示具体实验结果。

它的测试边界同样要认清:直接调用子工作流,可以检查 Agent 逻辑,却没有覆盖真实 webhook 接收和入口字段转换。相较完整链路测试,它更轻、更适合频繁执行,但上线前仍要验证入口能否正确把数据传进来。

我会采用它的流程,同时修正缺失字段和空断言的处理。LLM 评审则作为补充证据;涉及价格、订单和人工转接的明确条件,应尽量落到可核对的字段上。

能拿来做什么

  • 如果你用 n8n 接表单、客服消息或邮件,先把 Agent 抽成可独立调用的子工作流,让生产入口和测试入口共用它。
  • 建一个包含 15 到 30 条匿名真实消息的用例表,每条写清预期结果和禁止行为,线上 bug 修复后同步补题。
  • 把分类、是否转人工等结果输出为结构化字段,并规定缺失必需字段、没有有效断言时不能自动通过。
  • 每次改 prompt 或模型,都保存新旧版本的结果并检查状态变化;带发消息或建订单工具的流程,先落实 mode: "test" 对真实动作的禁用。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
本地 Agent 选模型,先看吞吐与并发
下一篇
绕过模型直接测试 MCP 服务安全

资讯速览

dev.to · AI · 2026-11-17 16:25

AI 评分 8.0 / 10

相关标签

#智能体#自动化测试#n8n

继续阅读

  • Agent 上线要补齐哪些工程能力
  • 本地 Agent 选模型,先看吞吐与并发
  • 绕过模型直接测试 MCP 服务安全
  • Claude Code 团队如何让智能体自证代码可用
  • 三种消息系统如何权衡延迟、吞吐与隔离