把智能体提示词约束纳入版本与测试
文章以退款审批阈值变更失控为例,提出将角色、硬约束、输入输出及回退规则写成结构化提示词契约。通过版本管理、使用前校验和独立测试,让规则变化能够触发失败并留下依据。
AI 深度解读
退款 Agent 的提示词规定:超过 200 的退款必须由经理签字。3 月,VIP 试点把限额提高到 500,之后没人改回去;6 月,一笔 340 的退款未经签字就获批,系统只留下了最终回答。这是原文用来引出问题的案例,并非有完整数据支撑的事故报告。
作者的主张很明确:业务规则不能只写在提示词里,还要成为运行器能校验、测试能验证、日志能追溯的契约。它值得程序员关注的地方,是把「让模型记住要求」变成「让系统检查要求」。
提示词里的规则,怎样才能变成可执行契约
作者把这套规范称为结构化提示契约(structured prompt contract),包含四部分:角色、硬约束、输入输出契约、兜底规则。这里的角色不是让模型扮演谁,而是限定规范管哪个节点,例如 applies_to: classify_refund_request。同一份契约被升级处理节点误加载,也属于作用范围错误。
硬约束则是针对已声明输入的判断条件,每条都带标识、失败去向和原因。下面这段配置解决的是:退款金额或币种不符合要求时,系统该走哪条分支。
constraints:
- id: approve_limit
predicate: amount <= 200
on_fail: manager_review
reason: approve_limit_exceeded
- id: currency_known
predicate: currency in ["USD", "EUR"]
on_fail: blocked
reason: unsupported_currency
要看的是 predicate:它读取输入里的 amount、currency,而不是从模型生成的回答里再提取金额。如果模型既负责生成数值,又负责解释自己是否违规,检查就缺少独立依据。
输入输出契约继续限制字段:status 必须来自枚举;只有状态为 answered 时,answer 才能非空;evidence_ids 必须来自检索结果。每个字段还要注明来源,区分已声明输入、常量和模型输出,模型只能填写最后一类。
这能防止一种容易漏掉的问题:状态已经转入人工审核,回答字段却仍然写着「退款已批准」。
兜底规则需要同时出现在契约和编排器中。契约声明失败原因与目标状态,确定性代码执行状态迁移,加载时检查两边是否一致。只有配置没有代码执行,规则仍要靠模型记忆;只有代码没有配置,运维人员又难以看清节点的预期行为。
版本号要回答规则是什么,日志要回答规则执行了吗
作者建议每个契约版本都有 ID 和摘要值,运行记录保存摘要,不必重复存储完整规范。下面这段日志展示了一笔 340 USD、未经经理签字的请求如何被拦截。
{
"run_id": "r-2041",
"node": "classify_refund_request",
"contract_id": "refund-v7",
"contract_digest": "9c1f...",
"input": { "amount": 340, "currency": "USD", "manager_signoff": false },
"constraint_evaluated": "approve_limit",
"state_transition": "pending -> manager_review",
"fallback_reason": "approve_limit_exceeded",
"model_called": false
}
要看的是 constraint_evaluated:它记录本次执行检查了哪条约束。只记 contract_id,只能证明契约在场,不能证明系统用过它。model_called: false 则表明,这次分流在调用模型之前就完成了。
这样,排查问题时可以查询当时生效的规则,评审 v6 到 v7 的部署时,也能直接比较判断条件和失败原因。
但摘要值不是历史版本本身。原文没有说明契约归档和摘要解析机制,团队落地时仍要保证能用摘要找到对应规范,否则只能查出「用过哪个摘要」,还原不了规则。
怎样证明规则真的控制了 Agent
第一道检查发生在加载阶段。条件引用了未声明字段、on_fail 指向编排器不拥有的状态、失败原因超出枚举,或者模型输出字段没有验收标准,运行器都应该拒绝加载。
错误契约应该先让测试失败,而不是等一次真实请求暴露问题。
第二道检查是主动改变规则,看结果是否随之改变。固定输入 amount = 340,且没有经理签字:v7 的预期结果是 manager_review,原因是 approve_limit_exceeded。新版本把限额从 200 改成 500,再回放相同输入,预期结果应翻转为 answered。
如果两次决策相同,就要追查条件是否真正接入执行路径。这个实验检查的是规则对行为有没有控制力,比单看覆盖率更直接。不过,原文给的是实验方法,没有提供实际运行结果或成功率对照。
作者还建议分开维护三组用例:正常回答应通过的正向用例;检索为空、工具输出畸形、问题越界等边界用例;拒绝之后继续追问的多轮用例。每组 3 个、每个 2 条断言,用来覆盖这一条约束,改变阈值的测试归入边界组。
同一契约也可以适配两个不同模型,跑同样的用例。措辞可以不同,状态迁移和失败原因应一致。这里验证的是行为边界,不是要求两个模型逐字输出相同答案;原文也没有给出具体模型、适配实现或跨模型测试数据。
我的判断
我认可把金额限制、允许币种和失败分流交给代码执行。对需要审计的 Agent,这比不断追加「务必遵守」更可靠,因为代码有明确的输入、分支和失败位置。
不过,示例本身还有一个缺口:开头的业务规则允许经理签字后批准超限退款,配置却只有 amount <= 200,没有使用 manager_signoff。它展示了超限分流,却没有完整表达签字后的放行逻辑,不能直接当作生产退款规则。
「每组 3 个用例、每个 2 条断言」也只能看作作者的建议。原文没有证明这个数量足够,测试规模仍取决于条件组合和状态路径。改变阈值后结果不变,是排查信号,也需要结合其他约束判断原因。
与普通参数校验相比,这套方案多出了节点绑定、行为版本和执行留痕;与输出格式校验相比,它还管状态迁移。但它没有解决语义判断:邮件含糊时,模型仍可能读错;200 是否合理,也仍是产品决策。
原文没有给框架、版本号或 API,实现成本和收益属于方法层面的判断。作者也承认契约过大会变脆,团队可能绕开规范直接改提示词。先做好两三条有真实边界用例的约束,比列出二十条无人验证的要求更实际。错误成本很低的一次性原型,则未必需要这套维护负担。
能拿来做什么
- 如果你在 Node 服务中编排 Agent,可以先挑一条金额上限或允许币种规则,让服务端代码读取结构化输入并决定分支,再把规则 ID、失败原因和目标状态纳入契约。
- 给现有回归测试补一个规则变更用例:固定输入与其他条件,把阈值从 200 改到 500,并提前写明预期决策。用它检查配置是否真正影响执行。
- 检查 Agent 日志是否同时记录契约版本、实际检查的约束、状态迁移和失败原因。排查时需要知道系统为什么走到这里,最终回答只能提供部分线索。
- 准备更换模型时,复用同一组正向、边界和多轮用例,先比较状态与原因是否一致,再评价回答质量,避免把规则回归混在措辞变化里。