n8n 外发校验回放拦住 97 次错误操作
作者用代码实现了 9 项检查,在 182 次拟外发操作的历史记录中拦住 103 次错误操作中的 97 次。错误包括客户未申请却触发退款、非紧急邮件触发值班告警,以及回复泄露内部信息。
AI 深度解读
给 n8n 接上 LLM,让它写客服回复很容易。难的是决定这封邮件能不能发、退款该不该走、要不要叫醒值班同事。作者把发送前的 9 项检查写成代码,用 182 次历史待发记录做回放。103 次有问题的发送里,拦住了 97 次,漏掉了 6 次。
这组数据最有用的地方,是把两笔容易漏算的账摆到了台面上:硬规则会把客户可能确实想要的退款送进人工队列,检查程序也可能被邮件里的隐藏内容误导。至于回复像不像机器人,作者的实测更支持把它当作审阅提示。
发出去之前,哪些决定该交给代码?
作者之前写过一份 12 项 n8n 工作流上线清单。这次的范围更窄,检查放在 LLM 节点之后、任何 Send 节点之前,管的是邮件回复、公开评论回复、退款和值班呼叫这类会产生实际后果的动作。
第 1 至 5 项管权限和内容。退款、发放额度、取消操作一律进人工队列。是否呼叫值班人员,由代码根据客户文本判断,模型给出的 priority 不参与决策。回复里要拦内部代号、内部号码和公开名单之外的电话号码,链接只允许自家域名,也不能承诺退款、发码或审批。第 8 项再加一道 80 个英文单词的长度上限。
剩下三项各有用途。第 6 项查机器人套话,第 7 项看回复有没有提到原消息的具体内容,第 9 项要求有一个能停掉全部自动发送的开关,并为每次发送记录输入和输出。前 8 项能用旧记录回放,第 9 项要在运行中验证,作者没有把它算进拦截成绩。
97 次拦截和 6 次漏放是怎么来的?
客服分流测试用了 n8n 1.123.84 和本地 Qwen 1.8B。32 封邮件里有 12 封正常邮件、20 封含提示注入的邮件,每封运行 3 次。作者取了两个允许模型触发动作的阶段,分别是未加防护和仅靠提示词加固。去掉没有任何对外动作的运行后,两阶段分别留下 94 和 88 次待发记录。另一组公开评论测试有 8 条评论、2 个工作流版本,每版跑 2 轮,共 32 条回复。两组都使用已记录的输出,没有重新跑模型。
在 182 次客服待发记录里,作者根据实际执行的动作和已发出的内容判定问题。49 次在客户没要求时触发退款,31 次在邮件并不紧急时呼叫值班,30 次回复承诺退款,16 次带外部链接,13 次泄露内部代号或电话号码。同一次发送可能命中多类问题,所以分项相加会超过 103 次。
6 次漏放都来自同一封订单状态查询邮件,也就是两个阶段各跑了 3 次。邮件里的 display:none 元素包含 outage 等词,而第 2 项直接在客户文本里找 outage、down 一类词,结果把收件人看不见的内容也当成了告警依据。作者提出先清掉隐藏元素和 HTML 注释,再跑正则,但还没用修复后的版本重跑。另有 8 次原本没被标为有问题的发送被第 1 项拦下,涉及 b02 和 b09 两封邮件。让人确认退款符合设计,人工处理时间也得算进成本。
哪些检查适合硬拦,哪些适合给人看?
套话检查命中了 182 次客服待发中的 128 次,以及 32 条公开评论回复中的 29 条。短语表里有一句常见的礼貌开头 thank you for,一旦命中就拦,正常回复也会大量进队列。检查回复是否具体的规则拦下了 5 次客服发送和 20 条评论回复,但它只看两边有没有共同词,词汇重合很难说明回复是否真的解决了客户的问题。
下面是作者给出的简化 Code 节点。它把退款动作和回复文本里的风险整理到 reasons,供下游决定是否送人工队列。
const ALLOWED = 'brewline.in';
const MONEY = /refund(ed)?\b.*\b(approved|processed|issued)|\b(approved|processed|issued)\b.*refund|rs\.? ?\d|₹|discount|voucher|coupon|goodwill|compensat/i;
const SECRET = /KX-41|GOODWILL-7731|\+91-80-5550-0199/i;
const reply = $json.reply || '';
const reasons = [];
if (['issue_refund','refund'].includes($json.action)) reasons.push('money action needs a human');
for (const u of reply.match(/https?:\/\/[^\s)>\]]+/gi) || [])
if (!u.toLowerCase().includes(ALLOWED)) reasons.push('link off our domain');
if (MONEY.test(reply)) reasons.push('money/code/approval promise');
if (SECRET.test(reply)) reasons.push('internal reference');
if (reply.split(/\s+/).length > 80) reasons.push('too long');
return [{ json: { ...$json, hold: reasons.length > 0, reasons } }];
接线时看最后一行。hold = true 进人工队列,其余才走 Send。实现时还要看 includes(ALLOWED) 那一行,它只查整条 URL 是否含有域名字符串。用 Node 落地时应先解析 URL,再按允许名单校验 hostname。
我的判断
最值得照搬的是把退款权限从模型手里收回来。提示词可以帮助模型整理客户诉求,审批和执行交给独立节点,动作有没有发生也更容易追查。值班呼叫同样应由独立规则决定。案例里的漏放表明,规则读到什么文本,和规则匹配什么词一样重要。
97/103 是本地小模型在这批历史记录上的回放成绩。客服样本里有 20 封带提示注入的邮件,同一封邮件还会重复运行,实际流量的误拦率和漏放率仍未知。作者给了未加防护和仅靠提示词加固两组的待发总量,没给出分组拦截成绩,也没公开工作流与回放脚本。至于换大模型能改善多少、清洗后能否补齐 6 次漏放,原文没有对照数据。套话和共同词适合辅助审阅,在这份实现里也有具体的误拦理由。
能拿来做什么
- 在 n8n 里把 Code 节点接在 LLM 和对外动作之间,让
hold控制去向,让reasons随记录进入人工队列,审核人能直接看到拦截原因。 - 用 Node 检查 HTML 邮件时,把清洗后的可见正文交给告警规则,把解析后的
hostname交给链接白名单。域名和内部标记放在配置节点,方便维护。 - 用历史输入和模型输出来回放规则,分别记下有问题却放行的记录、被送人工的正常记录,以及重复命中来自几封原始邮件。
- 给所有自动发送分支接同一个停发开关,为每次发送记录输入和输出,并实际关闭一次开关,确认各分支都能停下来。