生产环境Agent变懒?三个工作流Bug在作祟
n8n生产环境Agent质量下降根因:重试次数从6降至2、部分分支误判成功、API路径奖励首次响应。修复后质量恢复。
完整中文译文
我们有一个 n8n agent,在 staging 环境下表现很出色。
到了生产环境,相同任务却开始在一轮浅层处理后就结束。
症状完全符合大家常说的"模型变懒了":
- 错误答案更加自信
- 多步推理的痕迹变少
我们第一反应是怪 GPT-5.4。
这个诊断错了。
真正的问题很无聊,但完全可以修复:
- 重试上限从 6 降到了 2
- 有一个 n8n 分支把部分答案当作成功
- 我们的 OpenAI 兼容 API 路径在奖励第一个看起来还行的响应,而不是最好的那个
修复工作流之后,质量回来了。
这也改变了我们对生产环境中"懒"agent 的看法。
大多数时候,模型并没有突然变差。是你的编排开始提前结束运行了。
那个骗过我们的生产症状
在 staging 中,agent 追踪看起来是这样的:
verify one weak point
在生产环境中,更像是这样:
retrieve one weak source
相同的任务类别。相同的模型系列。行为却大不相同。
而且因为最终答案看起来依然很规范,它通过随意审查的频率比应该的高。
这就是危险的地方。
一个坏掉的 agent 很少会以显而易见的方式看起来坏掉。它往往看起来很高效。
让 GPT-5.4 看起来变懒的 3 个 bug
1) 重试上限从 6 降到了 2
这是最大的质量损失。
对于简单分类,2 次重试可能就够了。
对于研究、调试、文档合成或任何涉及工具调用的任务,2 次通常是个陷阱。一次糟糕的检索结果加一次工具小故障,agent 就耗尽预算了。
导致这种配置漂移的示例:
{
"task_type": "research",
"max_retries": 2,
"timeout_seconds": 20
}
在你的工作流依赖 search + fetch + verify 之前,这看起来无害。
2) 一个分支把部分输出当作成功
在我们的 n8n 流程中,一个格式化分支实际上是这么说的:
if output matches schema and output length is above a minimum
这意味着 agent 可以跳过检索深度仍然获胜。
这就是你无意中训练 agent 过早停止的方式。
const passed =
isValidJson(response) &&
response.answer.length > 280;
if (passed) {
return "success";
}
这不是质量控制。
这是一个浅层答案的奖励函数。
3) API 路径奖励"可接受"而不是"最好"
这在 OpenAI 兼容技术栈中很常见。
如果你的应用接受第一个看似合理的答案,从不检查预期的工具路径是否运行过,编排层就会开始为速度而不是深度做选择。
无论你路由到 GPT-5.4、Claude Opus 4.6 还是 Grok 4.20,都可能发生这种情况。
模型并不是在某种抽象意义上"选择变懒"。
你的工作流在告诉它:
if you look done quickly enough, you pass
为什么 agent 在生产环境中比在 staging 中表现更差
因为生产环境有 staging 经常隐藏的约束。
在干净的测试工具中,模型通常得到:
- 没有奇怪的分支逻辑
在生产环境中,agent 处于一个由以下组成的盒子中:
- 业务逻辑分支
- 成功条件
- 超时和重试配置
那个盒子比人们愿意承认的重要得多。
一个坏循环里的强模型,会比一个好循环里的普通模型看起来更差。
判断模型是否真的是问题的最快方法
通过相同的脚手架运行相同任务,一次只改一个变量。
不是"相同提示词,不同环境"。
而是实际相同的脚手架:
- 相同的工具定义
- 相同的最大输出设置
- 相同的成功标准
如果你对比生产环境的 n8n 和一个干净的 notebook 脚本,你没有隔离模型。
你改变了整个实验。
最重要的调试信号:stop reason
不是只看输出长度。
不是"这个答案感觉变薄了"。
Stop reason 告诉我们的远比最终答案评分多。
对于 Anthropic agent,有用的 stop reason 包括:
- end_turn
- max_tokens
- tool_use
对于 OpenAI 兼容的工作流,检查:
- 预期的工具调用是否实际触发了
- 推理路径是否在预期时使用了
- 运行结束是因为模型完成了
还是因为你的编排层觉得够了
如果你只评估最终答案,你是在盲目调试。
什么让我们确信是工作流的问题,而不是 GPT-5.4
我们用相同的坏掉的 production 脚手架对多个模型系列进行了测试。
- GPT-5.4 在生产环境 n8n 流程下看起来很差
- GPT-5.4 在 staging 流程下看起来正常
- Claude Opus 4.6 在坏掉的 production 流程下看起来也很差
- Grok 4.20 看起来也很差
这个模式很重要。
当三个强模型以相同方式都变得"懒"时,工作流通常是有罪的。
这是我现在使用的心智模型:
- staging 奖励 grounded completion
- production 奖励 acceptable formatting
我们最初追逐的假线索
我们在责怪模型层上花了太多时间。
我们的猜测是合理的:
- 也许 GPT-5.4 退化了
- 也许 OpenAI Responses API 设置改变了行为
- 也许推理 effort 太低了
- 也许输出 token 限制在截断答案
这些都是真实的失败模式。
它们只是不是这里的主要问题。
真正的问题更简单:
Agents optimize for whatever your workflow rewards.
如果你的自动化说"差不多就行",GPT-5.4、Claude Opus 4.6 和 Grok 4.20 都会开始看起来异常地急于结束。
产生假懒惰的工作流模式
这些是我首先会审查的。
JSON 验证作为主目标
如果主要目标是有效的 JSON,许多 agent 会在满足任务之前先满足解析器。
if (schema.safeParse(output).success) {
return success;
}
对于研究任务,这几乎永远不应该是整个成功条件。
直接答案的逃生口
如果 n8n、Make、Zapier、OpenClaw、LangGraph 或你的自定义循环允许在检索或验证之前给出最终答案,预期浅层完成。
对于研究类任务,工具使用通常不应该是可选的。
多步任务上微小的重试预算
这个到处都是。
人们为所有事情使用一个全局重试预算:
max_retries: 2
这可能对以下场景没问题:
- 轻量级转换
- 简单分类
对以下场景通常不好:
- 多源合成
- 复杂调试
只评估最终消息
这是最糟糕的一个。
如果你只对最终文本打分,你会隐藏:
- timeout 驱动的摘要伪装成结论
- 浅层推理路径伪装成完整分析
我的强烈观点:这个习惯让团队以为自己在比较模型,实际上是在比较编排错误。
我们没有换模型
我们改了工作流。
修复 1:恢复重试预算
我们将研究类任务的重试上限从 2 移回 6。
agent_profiles:
classification:
max_retries: 2
research:
max_retries: 6
debugging:
max_retries: 6
修复 2:研究任务要求检索
我们加了一个硬门。
如果任务是研究,至少一次检索步骤必须在运行通过之前发生。
function validateRun(run) {
if (run.taskType === "research" && run.toolCalls.search < 1) {
return { ok: false, reason: "missing_required_retrieval" };
}
if (!run.outputSchemaValid) {
return { ok: false, reason: "invalid_schema" };
}
return { ok: true };
}
修复 3:停止把格式化当作质量
我们改变了成功条件,这样运行不能仅靠格式化通过。
这意味着检查轨迹,而不只是输出形状。
修复 4:对比追踪,而不只是答案
我们在可观测性栈中并排审查追踪,并在 OpenAI 兼容路径和 Anthropic 路径上检查 stop reason。
这让差异很快变得明显。
调试"懒"agent 的实用清单
如果你认为你的生产 agent 变差了,这是我检查的顺序。
1) 对比 staging 和 production 配置
diff staging-agent.yaml production-agent.yaml
2) 检查 stop reason
{
"run_id": "abc123",
"model": "gpt-5.4",
"stop_reason": "end_turn",
"tool_calls": 0,
"task_type": "research"
}
如果研究任务以零工具调用结束并仍然通过,那是你的 bug。
3) 统计每个任务类型的工具调用数
一个简单指标能发现很多:
SELECT
task_type,
AVG(tool_call_count) AS avg_tool_calls,
AVG(retry_count) AS avg_retries,
AVG(output_chars) AS avg_output_chars
FROM agent_runs
WHERE created_at >= NOW() - INTERVAL '7 days'
GROUP BY task_type;
如果工具调用数在部署后崩溃,在责怪模型之前调查工作流。
4) 在相同脚手下对比多个模型系列
这是 OpenAI 兼容 API 设置发挥作用的地方。
如果 GPT-5.4、Claude Opus 4.6 和 Grok 4.20 在同一循环下以相同方式失败,那个循环可能是坏的。
5) 评估轨迹,而不只是答案文本
- 验证是否尝试过
- 遇到的工具错误
- 输出是否基于引用材料
当你运行大量 agent 时,为什么这更重要
当你整天运行自动化时,这种 bug 很快变得昂贵。
不只是钱的问题。还有糟糕的输出、隐藏的回归和浪费的调试时间。
在 n8n、Make、Zapier、OpenClaw 或自定义 OpenAI 兼容栈中运行 agent 的团队通常会遇到同样的墙:
他们从问"哪个模型最好?"开始
然后最终意识到更有用的问题是:
"我们的工作流到底在奖励什么?"
这也是为什么可预测的 API 基础设施重要。
当你可以在不重写技术栈的情况下切换模型、干净地对比追踪、在没有按 token 焦虑的情况下运行大量评估时,发现编排 bug 就变得容易得多,而不是争论直觉。
这也是 Standard Compute 对 agent 团队有趣的重要原因:它是一个即插即用的 OpenAI 兼容 API,所以你可以保留现有 SDK 和工作流、在 GPT-5.4、Claude Opus 4.6 和 Grok 4.20 之间路由,并测试 agent 行为,而不会让每次调试都变成计费事件。
对于全天候运行自动化的团队,扁平月费不只是财务偏好。它改变了你评估、对比和修复 agent 系统的激进程度。
在责怪 GPT-5.4 变懒之前:
- 检查轨迹
- 对比完全相同的脚手架
- 验证必需的工具步骤发生了
- 确保你的成功条件在奖励质量,而不只是完成
有时候模型真的退化了。
更常见的是:生产环境教会了你的 agent 提前退出是获胜策略。