AI 工作流何时应保留确定性控制
文章从不确定性、错误后果和可审计性等维度,比较规则编排、LLM 工作流与自主代理的适用条件。它提供八项判断标准、混合架构及 Python 实现,让模型负责理解信息,业务流程继续由确定性逻辑执行。
AI 深度解读
接入 LLM,不代表必须让它接管流程。原文给出的判断是:步骤、规则、异常和成功标准已经明确时,优先用确定性编排;模型负责理解材料,应用代码负责决定下一步。只有任务确实需要动态调查和规划时,才考虑增加 Agent 的自主权。
这对正在做 AI 工单、文档处理和内部助手的团队很实用。架构选型的关键不是模型能不能调用工具,而是把执行权交给它,究竟多解决了什么问题,又增加了哪些验证成本。
判断要不要 Agent,先看谁决定下一步
原文把系统分成三种选择。
第一种是完全确定性的工作流。输入已经结构化,审批门槛和执行顺序都有规定,普通应用逻辑、规则引擎或状态机就能完成任务,没有必要加入模型。
第二种是 LLM 辅助的确定性工作流。输入不好处理,比如格式各异的发票、自然语言工单,由模型提取字段、判断类别;字段通过校验后,再交给固定规则执行。
第三种是有边界的 Agent。模型根据中间结果决定查什么、调用哪个工具、是否继续调查,适合步骤难以提前列全的任务。
模型参与理解,不等于模型拥有执行权。
这里的「确定性」也需要解释清楚。它不是保证每次模型都提取出相同内容,而是应用提前规定允许的状态、转换条件和动作。即使模型输出有波动,也不能随意创造一个新状态,或者跳过审批。
工单路由就是很直观的例子。模型可以理解用户描述,给出分类;如果分类与队列的对应关系已经确定,代码按规则分配即可。再让 Agent 自己挑 CRM 工具、修改队列、决定升级路径,会增加工具误选、参数错误和排查成本。原文没有提供数据证明这种增加一定不划算,但它指出了需要额外承担的工程工作。
八个判断标准,最终都要回答收益在哪里
作者列出的八项标准,可以沿着执行、约束和收益三条线理解。
先看流程是否已经清楚:能否列出完整状态和转换?异常能否归类,并进入固定分支?如果答案是肯定的,规则再多,也不自动构成使用 Agent 的理由。缺采购单、税务信息无效,都可以进入明确的复核状态。
再看执行约束:业务政策是否必须严格一致?错误动作会不会造成财务、安全或运营损失?每次决定是否都要对应明确规则或审批人?这些要求越强,就越需要把授权和执行放在独立应用逻辑里。提示词中的「不要超过审批额度」,不能代替代码里的额度校验。
还有两项直接影响交付:延迟与成本是否需要可预测,以及回归测试是否要求重复得到相同的状态转换。固定流水线更容易限定模型调用次数和外部 API 请求数量,也更容易验证给定输入应当进入哪个状态。
最后一项,也是作者最看重的一项:动态规划有没有改善业务结果?
故障调查可能需要先查日志,再根据线索看指标、部署记录或文档,后续步骤取决于前面的发现。把所有调查路径提前编码,维护成本可能很高。这才是 Agent 值得尝试的地方。但仍然需要在代表性任务上证明,它比简单方案完成得更好。
原文没有给出准确率、成本或耗时的对照实验。八项标准是一套工程决策框架,不是实测排名。
发票示例把模型限制在了哪一层
原文的混合架构有八层:输入接收、LLM 提取、Schema 校验、业务校验、确定性状态机、人工审批、执行服务,以及审计监控。模型提供候选信息,应用决定它能否继续流转。
示例使用 Python 3.11 或更高版本、Pydantic v2。LLM 调用被抽象为接口,没有绑定具体供应商。
第一段代码约束模型需要交出的字段:
from decimal import Decimal
from enum import Enum
from pydantic import BaseModel, Field
class InvoiceData(BaseModel):
invoice_id: str = Field(min_length=1)
vendor_id: str = Field(min_length=1)
amount: Decimal = Field(gt=0)
currency: str = Field(min_length=3, max_length=3)
purchase_order_id: str = Field(min_length=1)
注意 currency 那一行只限制长度为 3,并没有验证它是不是有效币种。amount 大于零,也不能证明金额与原始发票一致。
提取边界调用 InvoiceData.model_validate_json(model_output),捕获 ValidationError 后返回 None,随后由流程返回 EXTRACTION_FAILED。结构不合法时,应用进入既定失败状态,不让模型临时发明恢复动作。
第二段代码决定通过校验的数据该去哪里:
def evaluate_invoice(
invoice: InvoiceData,
known_vendor_ids: set[str],
valid_purchase_orders: dict[str, Decimal],
existing_invoice_ids: set[str],
) -> InvoiceState:
if invoice.invoice_id in existing_invoice_ids:
return InvoiceState.REVIEW_REQUIRED
if invoice.vendor_id not in known_vendor_ids:
return InvoiceState.REVIEW_REQUIRED
expected_amount = valid_purchase_orders.get(
invoice.purchase_order_id
)
if expected_amount is None:
return InvoiceState.REVIEW_REQUIRED
if invoice.amount != expected_amount:
return InvoiceState.REVIEW_REQUIRED
return InvoiceState.READY_FOR_APPROVAL
注意最后一行是 READY_FOR_APPROVAL。重复发票、未知供应商、采购单缺失和金额不符都会进入复核,通过这些检查也只是准备审批。
原文输入示例包含 INV-1042、VENDOR-12、PO-300,金额为 1250.00、币种为 USD,最终打印 ready_for_approval,没有自动付款。
测试也沿着这个边界拆开:业务规则用固定输入测试状态转换;模型提取用代表性文档评估字段正确率、模糊格式和虚构字段;端到端测试再确认审批不可绕过、重复执行被阻止、异常进入正确队列。
不过,固定状态机仍然依赖可靠基础设施。原文明确要求生产系统补上原文档核验、可信查询、持久化状态、并发控制、事务和幂等。内存中的 set 不足以防止生产环境重复操作,重试也必须有次数边界。
我的判断
我赞同把「理解权」和「执行权」分开。对有明确业务政策的系统,这个边界能让开发者分别定位提取错误、规则错误和执行故障,比把全部责任压进一个提示词更容易检查。
但确定性流程只能稳定执行已有规则,不能保证规则充分,也不能保证输入真实。模型把金额读错后,如果错误值恰好通过现有检查,流程仍可能继续。因此,Schema 校验解决的是结构问题,原文档核验和业务一致性检查解决的是另一层问题。
示例也没有真正实现完整的状态转换约束、人工审批和付款服务。它展示了返回状态的规则函数,距离完整的生产状态机还有持久化、转换合法性和授权检查等工作。
和普通解析、规则引擎相比,LLM 的价值主要在处理难以穷举的输入表达;和 Agent 相比,混合方案减少了模型决定执行路径的空间。选哪一种,需要看实际任务。作者没有提供对照数据,关于哪种方案更省钱、更稳定的判断仍属于经验之谈。
评估时也不能只看最后回答是否正确。原文提出要同时比较任务成功、关键错误、人工修正、权限执行、提示注入抵抗,以及每次成功任务的成本。它还提到 OpenTelemetry 的生成式 AI 语义约定,用来记录相关操作;日志则应避免无必要地保留敏感文档和完整模型输入。
能拿来做什么
- 做工单分类时,先让 LLM 输出受限类别,再由 Node 服务按明确规则分配队列,并为无法识别的结果设置复核入口。
- 做文档提取时,把结构校验、业务校验和执行拆开;测试既要覆盖字段格式错误,也要覆盖格式合法但内容错误的情况。
- 做故障调查助手时,可以让 Agent 选择日志、指标和文档等诊断工具;涉及生产变更的动作,交给独立授权服务判断是否允许执行、是否需要人工审批。
- 选架构前,用同一批正常任务、困难案例和故障场景比较可行方案,记录成功结果、关键错误、人工介入和调用成本,再决定是否增加自主权。