基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-20 17:53

智能体跳过工具,结构化输出为何失效

dev.to · AI#智能体评测#结构化输出
Editor brief · 编辑速览

作者为基于 LangChain 的课程助手设计了 12 个用例,同时校验工具调用顺序、计算结果、引用页码和输出格式,最终通过 10 个。一个越界问题让模型自行跳过汇总工具并直接返回纯文本,暴露了输出约束对工具调用的依赖。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

一个用 LangChain 搭的课程笔记 Agent 跑了 12 个测试,通过 10 个,通过率是 83.3%。两条失败记录指向不同的问题:一次是 Agent 跳过了规定的输出步骤,一次是测试把正确的错误处理判成了失败。

对做 AI 应用的程序员来说,这篇最实用的地方是作者怎么查失败。把工具调用轨迹和断言放在一起看,才能决定该修应用,还是该修测试。

一条用例要检查哪些结果才算过?

作者在 Valentius Kryptix 实习时做了 CloudML Study Analyst,用来回答机器学习课程笔记里的问题。比如,用户可以先让它解释服务器虚拟化,再算 25 台服务器以每台每月 120 美元运行一年的成本。前半段要去 ChromaDB 找笔记依据,后半段要调用安全计算器,最后用结构化摘要交付结果并标出引用页码。这个 Agent 有 3 个工具和自定义角色设定,每一步都会记录调用了什么工具、为什么调用。

CloudML Study Analyst 演示页面中的回答和工具调用轨迹

12 条用例覆盖了多步任务、数据缺失、超范围问题和错误处理。每条用例预先写好预期工具和结果值,再逐项核对工具是否调用、顺序是否正确、格式是否合规、计算值和引用页码是否匹配。只要有一项不符,整条就算失败。这样,即使回答读起来没毛病,下游拿不到约定的数据结构,测试也能发现。

同样亮红灯,为什么一条修 Agent,一条修测试?

作者问「法国的首都是什么?」Agent 判断可以直接回答,于是跳过摘要工具,回了一段纯文本。对人来说,这段文字可能足够。对依赖结构化字段的调用方来说,这次响应已经违约。摘要工具由模型决定是否调用,输出格式也就跟着模型的判断走了。

另一条测试给了非法表达式 5 +* 3。Agent 返回 N/A (Invalid syntax),说明它识别出了语法无效。检查器却只找 error 这个词,于是把符合预期的错误处理判成了失败。这里该修的是断言:检查有没有拒绝无效计算,以及有没有给出预期的错误状态。

工具轨迹在这两条用例里回答了两个具体问题:摘要步骤有没有执行,非法输入有没有被正确处理。只看通过率,两条失败没有区别。

我的判断

最该保留的是作者对失败逐条归因的做法。83.3% 是这 12 条用例按原检查器跑出的分数,其中包含一条误判。原文没给修正断言后的复跑结果,也没给重复运行或其他方案的对照数据。它能说明这轮测试找到了什么问题,至于这些问题出现得有多频繁,原文还答不了。

工具顺序要不要写进断言,取决于它是不是业务要求。需要先查笔记再引用时,顺序值得检查。两条检索路径都能拿到正确依据时,锁死步骤会让正常改动也触发失败。相比只看最终答案,轨迹更适合定位过程问题。相比要求模型主动调用摘要工具,固定的响应出口更适合承接前端依赖的字段。这些是从案例推出来的工程取舍,作者没有实测比较。

能拿来做什么

  • 给直接回答、超范围和工具报错各留一条用例。如果前端按固定字段渲染,就在 Node 响应出口统一校验结构,覆盖模型跳过工具的分支。
  • 给非法计算定义可检查的错误状态。需要稳定状态码时就在接口里约定,用户提示文案可以独立调整。
  • 在用例报告旁保留每次工具调用及其理由。断言失败时,结合轨迹检查问题出在调用、返回值还是检查器。
  • 给工具循环设上限,并在执行前校验输入。笔记里缺少每 GB 单价时,直接返回缺失项,并把这种情况放进回归用例。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
DeepSeek 全栈 API 经兼容网关接入实测
下一篇
用调用链定位智能体的延迟瓶颈

资讯速览

dev.to · AI · 2026-11-20 17:53

AI 评分 8.0 / 10

相关标签

#智能体评测#结构化输出

继续阅读

  • AI 代码审查机器人怎么选:自托管与免费套餐
  • DeepSeek 全栈 API 经兼容网关接入实测
  • 用调用链定位智能体的延迟瓶颈
  • 远程 MCP 服务上线与登记实录
  • 小团队何时该给数据仓库加一层