基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-17 22:31

AI 工作流何时应保留确定性控制

dev.to · AI#Agent#工作流#架构设计
Editor brief · 编辑速览

文章从不确定性、错误后果和可审计性等维度,比较规则编排、LLM 工作流与自主代理的适用条件。它提供八项判断标准、混合架构及 Python 实现,让模型负责理解信息,业务流程继续由确定性逻辑执行。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

接入 LLM,不代表必须让它接管流程。原文给出的判断是:步骤、规则、异常和成功标准已经明确时,优先用确定性编排;模型负责理解材料,应用代码负责决定下一步。只有任务确实需要动态调查和规划时,才考虑增加 Agent 的自主权。

这对正在做 AI 工单、文档处理和内部助手的团队很实用。架构选型的关键不是模型能不能调用工具,而是把执行权交给它,究竟多解决了什么问题,又增加了哪些验证成本。

判断要不要 Agent,先看谁决定下一步

原文把系统分成三种选择。

第一种是完全确定性的工作流。输入已经结构化,审批门槛和执行顺序都有规定,普通应用逻辑、规则引擎或状态机就能完成任务,没有必要加入模型。

第二种是 LLM 辅助的确定性工作流。输入不好处理,比如格式各异的发票、自然语言工单,由模型提取字段、判断类别;字段通过校验后,再交给固定规则执行。

第三种是有边界的 Agent。模型根据中间结果决定查什么、调用哪个工具、是否继续调查,适合步骤难以提前列全的任务。

模型参与理解,不等于模型拥有执行权。

这里的「确定性」也需要解释清楚。它不是保证每次模型都提取出相同内容,而是应用提前规定允许的状态、转换条件和动作。即使模型输出有波动,也不能随意创造一个新状态,或者跳过审批。

工单路由就是很直观的例子。模型可以理解用户描述,给出分类;如果分类与队列的对应关系已经确定,代码按规则分配即可。再让 Agent 自己挑 CRM 工具、修改队列、决定升级路径,会增加工具误选、参数错误和排查成本。原文没有提供数据证明这种增加一定不划算,但它指出了需要额外承担的工程工作。

八个判断标准,最终都要回答收益在哪里

作者列出的八项标准,可以沿着执行、约束和收益三条线理解。

先看流程是否已经清楚:能否列出完整状态和转换?异常能否归类,并进入固定分支?如果答案是肯定的,规则再多,也不自动构成使用 Agent 的理由。缺采购单、税务信息无效,都可以进入明确的复核状态。

再看执行约束:业务政策是否必须严格一致?错误动作会不会造成财务、安全或运营损失?每次决定是否都要对应明确规则或审批人?这些要求越强,就越需要把授权和执行放在独立应用逻辑里。提示词中的「不要超过审批额度」,不能代替代码里的额度校验。

还有两项直接影响交付:延迟与成本是否需要可预测,以及回归测试是否要求重复得到相同的状态转换。固定流水线更容易限定模型调用次数和外部 API 请求数量,也更容易验证给定输入应当进入哪个状态。

最后一项,也是作者最看重的一项:动态规划有没有改善业务结果?

故障调查可能需要先查日志,再根据线索看指标、部署记录或文档,后续步骤取决于前面的发现。把所有调查路径提前编码,维护成本可能很高。这才是 Agent 值得尝试的地方。但仍然需要在代表性任务上证明,它比简单方案完成得更好。

原文没有给出准确率、成本或耗时的对照实验。八项标准是一套工程决策框架,不是实测排名。

发票示例把模型限制在了哪一层

原文的混合架构有八层:输入接收、LLM 提取、Schema 校验、业务校验、确定性状态机、人工审批、执行服务,以及审计监控。模型提供候选信息,应用决定它能否继续流转。

示例使用 Python 3.11 或更高版本、Pydantic v2。LLM 调用被抽象为接口,没有绑定具体供应商。

第一段代码约束模型需要交出的字段:

from decimal import Decimal
from enum import Enum
from pydantic import BaseModel, Field

class InvoiceData(BaseModel):
    invoice_id: str = Field(min_length=1)
    vendor_id: str = Field(min_length=1)
    amount: Decimal = Field(gt=0)
    currency: str = Field(min_length=3, max_length=3)
    purchase_order_id: str = Field(min_length=1)

注意 currency 那一行只限制长度为 3,并没有验证它是不是有效币种。amount 大于零,也不能证明金额与原始发票一致。

提取边界调用 InvoiceData.model_validate_json(model_output),捕获 ValidationError 后返回 None,随后由流程返回 EXTRACTION_FAILED。结构不合法时,应用进入既定失败状态,不让模型临时发明恢复动作。

第二段代码决定通过校验的数据该去哪里:

def evaluate_invoice(
    invoice: InvoiceData,
    known_vendor_ids: set[str],
    valid_purchase_orders: dict[str, Decimal],
    existing_invoice_ids: set[str],
) -> InvoiceState:

    if invoice.invoice_id in existing_invoice_ids:
        return InvoiceState.REVIEW_REQUIRED

    if invoice.vendor_id not in known_vendor_ids:
        return InvoiceState.REVIEW_REQUIRED

    expected_amount = valid_purchase_orders.get(
        invoice.purchase_order_id
    )

    if expected_amount is None:
        return InvoiceState.REVIEW_REQUIRED

    if invoice.amount != expected_amount:
        return InvoiceState.REVIEW_REQUIRED

    return InvoiceState.READY_FOR_APPROVAL

注意最后一行是 READY_FOR_APPROVAL。重复发票、未知供应商、采购单缺失和金额不符都会进入复核,通过这些检查也只是准备审批。

原文输入示例包含 INV-1042、VENDOR-12、PO-300,金额为 1250.00、币种为 USD,最终打印 ready_for_approval,没有自动付款。

测试也沿着这个边界拆开:业务规则用固定输入测试状态转换;模型提取用代表性文档评估字段正确率、模糊格式和虚构字段;端到端测试再确认审批不可绕过、重复执行被阻止、异常进入正确队列。

不过,固定状态机仍然依赖可靠基础设施。原文明确要求生产系统补上原文档核验、可信查询、持久化状态、并发控制、事务和幂等。内存中的 set 不足以防止生产环境重复操作,重试也必须有次数边界。

我的判断

我赞同把「理解权」和「执行权」分开。对有明确业务政策的系统,这个边界能让开发者分别定位提取错误、规则错误和执行故障,比把全部责任压进一个提示词更容易检查。

但确定性流程只能稳定执行已有规则,不能保证规则充分,也不能保证输入真实。模型把金额读错后,如果错误值恰好通过现有检查,流程仍可能继续。因此,Schema 校验解决的是结构问题,原文档核验和业务一致性检查解决的是另一层问题。

示例也没有真正实现完整的状态转换约束、人工审批和付款服务。它展示了返回状态的规则函数,距离完整的生产状态机还有持久化、转换合法性和授权检查等工作。

和普通解析、规则引擎相比,LLM 的价值主要在处理难以穷举的输入表达;和 Agent 相比,混合方案减少了模型决定执行路径的空间。选哪一种,需要看实际任务。作者没有提供对照数据,关于哪种方案更省钱、更稳定的判断仍属于经验之谈。

评估时也不能只看最后回答是否正确。原文提出要同时比较任务成功、关键错误、人工修正、权限执行、提示注入抵抗,以及每次成功任务的成本。它还提到 OpenTelemetry 的生成式 AI 语义约定,用来记录相关操作;日志则应避免无必要地保留敏感文档和完整模型输入。

能拿来做什么

  • 做工单分类时,先让 LLM 输出受限类别,再由 Node 服务按明确规则分配队列,并为无法识别的结果设置复核入口。
  • 做文档提取时,把结构校验、业务校验和执行拆开;测试既要覆盖字段格式错误,也要覆盖格式合法但内容错误的情况。
  • 做故障调查助手时,可以让 Agent 选择日志、指标和文档等诊断工具;涉及生产变更的动作,交给独立授权服务判断是否允许执行、是否需要人工审批。
  • 选架构前,用同一批正常任务、困难案例和故障场景比较可行方案,记录成功结果、关键错误、人工介入和调用成本,再决定是否增加自主权。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
用正交适配器减少微调对鲁棒认证的影响
下一篇
代码仓库如何成为智能体注入入口

资讯速览

dev.to · AI · 2026-11-17 22:31

AI 评分 8.0 / 10

相关标签

#Agent#工作流#架构设计

继续阅读

  • 代理沙箱是否有效,要靠越界测试证明
  • 用正交适配器减少微调对鲁棒认证的影响
  • 代码仓库如何成为智能体注入入口
  • 子智能体权限测试别绕过真实校验
  • 为代码审查智能体精简合并请求上下文