自动化步骤何时用代码,何时调用模型
文章结合 Anthropic 与 OpenAI 的智能体指南,讨论确定性代码、预定义工作流和自主智能体的适用边界。强调从简单方案出发,根据判断复杂度与灵活性需求引入模型,同时考虑成本、延迟和错误输出。
AI 深度解读
自动化里哪些步骤该写代码,哪些值得调用 LLM?原文给出的判断是:能写清规则的地方先用代码,模型负责理解邮件、PDF 等杂乱输入,重要决策再交回代码或人工。
这套思路对正在接入 AI 的程序员很实用。原型跑通,只能证明模型有机会答对;进入生产后,还要回答结果能否复现、出错谁能发现、每次调用的成本是否必要。作者提供了一组逐步判断的方法,也给出了一个发票提取示例。
先拆步骤,别给整条流程贴上 AI 标签
作者引用的两份指南,出发点接近:先找最简单的可行方案,再决定是否增加模型和自主决策。
Anthropic 的「Building effective agents」区分了工作流(workflow)和智能体(agent):前者沿着预先定义的代码路径执行,后者由模型决定自己的执行过程。任务明确时,工作流更容易预测;需要灵活判断时,才有理由增加自主性。
OpenAI 的「A practical guide to building agents」则列出三个信号:决策复杂、规则难维护,以及高度依赖非结构化数据。它并没有要求所有自动化都变成 agent。
判断单位应该是一个步骤,而不是整个业务流程。
比如处理供应商发票,读取邮件内容和判断是否超过审批额度,是两种不同的问题。前者需要理解表达,后者只需要比较已知字段。把它们一起塞进提示词,会让原本明确的规则也承担模型的不确定性。
五个问题,判断这一步该交给谁
第一,规则能不能写下来?如果条件是「发票总额超过批准额度就转财务」,直接写代码。答案已经确定,模型调用只增加成本和结果波动。
第二,输入是否已经结构化?表单字段、数据库行、JSON 数据通常适合代码。自由文本、PDF、邮件和通话转录,才更需要模型参与,而且通常先让模型提取字段。
第三,同样的输入是否必须始终得到同样的输出?计费、权限、合规等需要审计的步骤,应保留可追溯的确定性规则。审核者需要知道,具体是哪条条件触发了结果。
第四,答错的代价有多大,谁能发现?内部摘要略有偏差,读者可能马上察觉;退款金额、权限授予或发给客户的邮件出错,后果更大,也可能长期没人发现。代价越高,越应该让模型提出建议,由代码或人工决定。
第五,规则多久变一次,由谁维护?如果业务人员每周都在调整规则,例外多到没人记得完整,模型可能有价值。不过,稳定不变的部分仍应留在代码里。
这五问不需要机械打分。它们帮助你找出两个边界:哪里需要理解杂乱信息,哪里已经有明确答案。
模型放中间,代码负责入口和出口
作者推荐一种夹层结构:入口用代码校验、规范化输入;中间让模型理解非结构化内容,返回结构化结果;出口再用代码检查格式和业务规则,最后执行操作或转人工。
下面这段代码解决的是「把发票文本变成可供后续处理的数据」,保留了原文实现:
const InvoiceSchema = {
required: ['supplier', 'number', 'date', 'total'],
check: (x) =>
typeof x.total === 'number' && x.total > 0 &&
!Number.isNaN(Date.parse(x.date)),
};
async function extractInvoice(pdfText, callModel) {
const raw = await callModel({ task: 'extract_invoice', input: pdfText, format: 'json' });
let data;
try { data = JSON.parse(raw); } catch { return { status: 'needs_review', reason: 'invalid JSON' }; }
const missing = InvoiceSchema.required.filter((k) => data[k] == null);
if (missing.length) return { status: 'needs_review', reason: `missing ${missing.join(', ')}` };
if (!InvoiceSchema.check(data)) return { status: 'needs_review', reason: 'failed validation' };
return { status: 'ok', data }; // 审批决策稍后由普通代码完成
}
要看清最后一行:status: 'ok' 只表示通过了这里的提取校验,没有批准付款。审批额度等规则还在后面的代码里。
作者也提供了几种返工信号。如果提示词里堆满自然语言版的 if/else,反复强调「必须精确返回」仍然失效,或者对有标准答案的决策只能测试「差不多正确」,就该重新考虑是否需要模型。
反过来,如果解析邮件的正则每周都在变、业务规则表总要人工翻译成代码、无法识别的格式不断排队等人阅读,也说明纯代码方案可能已经承担了过多的文本理解工作。
我的判断
我认同把信息提取与业务决策分开。对 Node 自动化而言,这能把测试边界划清楚:模型是否提取对了字段,与额度规则是否执行正确,可以分别验证。相比让一个 agent 从读邮件一路处理到付款,这种结构更容易定位错误。
但原文是一份设计建议,没有给出调用成本、延迟、准确率或故障率的对照数据。「可靠的结构」目前只能视为经验判断。作者说发票案例中模型承担六步里的两步,却没有完整列出六步,不能据此还原具体分工。
示例代码也只是草图。InvoiceSchema 是手写检查对象,JSON.parse 成功不代表返回值一定可用;如果结果是 null,后面的字段访问会抛错。代码没有完整校验字段类型,更无法证明模型提取的金额与 PDF 一致。
结构正确,只能证明数据可以继续处理,不能证明数据真实。
另外,规则经常变化,也未必就该交给模型。如果规则仍然明确,只是修改者不会写代码,配置表或规则引擎也值得考虑。模型更适合解决表达模糊、格式多变的问题;维护入口不方便,可以先改维护方式。
能拿来做什么
- 给现有 Node 自动化逐步标注输入类型和决策依据,先检查表格处理、字段比较等调用模型的步骤,能写清条件的就改成代码。
- 为邮件、PDF 提取建立独立函数,返回结构化数据或明确的人工复核状态,把提取结果与审批、付款逻辑分开测试。
- 检查模型输出后的校验是否只覆盖 JSON 格式,再补上字段类型、业务范围,以及关键字段与原始材料的核对。
- 遇到持续膨胀的邮件解析正则时,挑出格式最不稳定的一步试用模型,比较提取质量、调用成本和人工复核量,再决定是否扩大使用。