基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-21 22:37

让退款 Agent 从业务数据绑定订单号

dev.to · AI#Agent#工具调用#参数绑定
Editor brief · 编辑速览

退款 Agent 生成了不存在的订单号,收到 404 后反复尝试变体,加强提示词只降低了出错频率。作者主张用程序从业务数据绑定订单号等参数,再构造工具调用。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

一次退款工具调用,模型把订单号拼错,服务返回 404,Agent 又换着参数重试,40 秒后留下一个循环和一笔账单。作者起初补提示词,后来才发现:订单号已经在系统里,根本不该让模型重新写一遍。

他的改法很直接:程序先列出合法参数,模型只负责选择。这篇值得读的地方,是它把一类看起来属于「模型不聪明」的问题,拆成了候选生成、受限选择和可测量的分类错误。但选择合法,不等于选择正确。

已经知道合法值,为什么还让模型现编

作者的退款工具是 issue_refund(order_id, amount_cents, reason)。一次长对话里,模型生成了不存在的 ORD-88213,而实际存在的是 88231。数字颠倒后,字符串仍然很像订单号。

补上「NEVER invent order IDs」、少样本示例和系统提示末尾的提醒,确实有所改善。但作者认为,这可能只是把第三次请求出错拖到第十次,让人更容易相信它。

问题在于任务定义。模型生成字符串时,会倾向于接出上下文中看起来合理的内容;业务系统需要的却是一个已经存在、可以准确核验的值。

退款时,订单候选来自会话,可退金额来自订单记录,原因来自业务枚举。作者因此先用程序构造选项:

def compile_options(tool_name, session):
    order = session.focused_order
    return {
        "order_id": [o.id for o in session.orders_in_scope],
        "amount_cents": [str(x) for x in refundable_amounts(order)],
        "reason": ["damaged", "not_delivered", "duplicate_charge", "late", "other"],
    }

重点看 order_id 那一行:候选由会话数据提供,模型不用拼写标识符。之后可以给 JSON Schema 的每个字段设置 enum,也可以让模型逐字段选择,例如只选索引 3。

这里的「编译」就是把业务数据加工成当前调用可选的参数集合,不涉及编译器那套复杂流程。

拆成逐字段选择,收益和代价分别在哪

作者先试过一次受限解码(constrained decoding)生成完整 JSON,每个字段都有枚举约束。它能工作,而且往返次数更少;但在他的实践里,逐字段选择准确率更高。

例子中,order_id 有约 5 个候选,reason 有 5 个,amount_cents 有 3 个,组合起来是 75 种。作者认为,让 3B 模型每次完成一个小范围选择,比同时处理嵌套结构里的联合选择更可靠。

另一个收益是排错。订单选错、金额选错、原因选错,可以分别记录和测试,排查时不用笼统地归结为「Agent 搞错了」。

如果不使用语法约束,作者还给出了基于 token 对数概率(logprobs)的选择思路:

scores = {
    opt: logprob_of_completion(prompt_for_field, opt)
    for opt in options[field]
}
choice = max(scores, key=scores.get)

这段代码比较各候选补全的得分,再选最高者。要留意 logprob_of_completion:原文没有给出它的实现,也没有指定服务接口,这是一段思路代码。

候选的 token 长度不同时,作者提醒需要长度归一化,否则容易偏向短选项。带标点、大小写混合等多 token 候选,他更倾向于用真正的语法约束或受限解码。他在运行 llama.cpp 时使用语法约束,其他时候使用 logprobs,并认为前者代码更少。

候选集合必须允许模型拒选

封闭集合有个危险:正确值没进来时,模型仍可能选一个最接近的值。原本会报错的调用,就可能变成一次参数合法、业务错误的退款。

因此,作者给每个字段增加 none_of_these。模型选中它,就中止工具调用、向用户澄清,并记录这次拒选。

候选集合要能表达「这里没有正确答案」。

作者按字段观察拒选率。当 order_id 的拒选比例超过约 2%,他通常会发现候选生成代码漏了情况,例如订单较晚才关联到会话,或者旧过滤条件排除了它。这是他用于排查的经验阈值。

不过,受限解码依旧可能选错。原文举例:应该选 88213,却因为对话里也提到了 88214 而选中后者。这属于排序错误,枚举约束解决不了。

它带来的改善是错误更容易测量。作者建议整理 200 条带正确答案的已记录请求,用相同提示跑评估,分别计算各字段准确率。标识符不再需要靠模糊匹配判断对错,结果也更容易放进 PR 讨论。

我的判断

我认同把业务标识符交还给程序管理。数据库已经给出的 ID,再让模型复述一次,确实多了一处出错机会。相比不断追加「不许编造」,候选约束能直接限制输出范围。

但作者没有提供逐字段与整段 JSON 的准确率对照,也没有交代模型、提示和样本分布。把 5×5×3 描述成 75 路联合选择,有助于理解复杂度,却不足以证明逐字段一定更准。这部分仍是经验之谈,还要考虑额外往返的开销。

字段之间的依赖也需要补齐。示例从 session.focused_order 计算可退金额,却允许从 orders_in_scope 选择其他订单。如果两者不一致,金额是否合法就要重新确认。原文没说清这一步如何处理;实际实现中,选定订单后再计算金额候选,是需要考虑的顺序。

延迟数据同样不能直接当选型结论。作者报告,本机 3B 模型对 4 个小字段做受限解码,约为 150ms p50;被替换的托管 70B 级调用接近 800ms,后者每次还发送完整工具说明和完整对话。模型规模、部署位置、上下文负担都变了,无法单独归因。他也明确说这只是一个数据点,并非基准测试;成本收益没有给出具体数字。

至于是否退款、如何理解愤怒邮件里的真实诉求,作者仍交给大模型。这个分工有说服力:业务判断需要理解,已有标识符需要准确选择。

能拿来做什么

  • 在 Node Agent 中,先挑一个带 ID 参数的工具试改:从当前会话取出候选,加入 none_of_these,让模型选择,再由程序映射回真实 ID。作者称这是约 30 行的改动,具体工作量仍取决于现有工具封装。
  • 为订单、金额和原因分别记录候选、选择结果与拒选结果,积累带正确答案的请求,再比较逐字段选择和完整 JSON 的准确率、延迟,决定是否拆分。
  • 对存在依赖的参数按顺序生成候选,例如选定订单后再计算可退金额;执行工具前继续核验参数是否符合当前业务状态。
  • 搜索词、代码编辑、摘要和消息正文继续使用生成能力,并在后端增加适合内容的校验,例如结构和长度检查。作者的边界很明确:能枚举的值先枚举,自由内容则需要验证。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
让 AI 在改代码前梳理回归范围
下一篇
八卡 H100 的云租赁与自建成本账

资讯速览

dev.to · AI · 2026-11-21 22:37

AI 评分 8.0 / 10

相关标签

#Agent#工具调用#参数绑定

继续阅读

  • Jira 安全 Agent 用代码给漏洞打分
  • 让 AI 在改代码前梳理回归范围
  • 八卡 H100 的云租赁与自建成本账
  • AI 迁移 Delphi 代码时容易漏掉的六处语义差异
  • 日语推理模型 ja-nli-v1 可在本地核对引文