基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-16 22:28

MCP 调用返回成功,不代表操作成功

dev.to · AI#MCP#智能体#测试
Editor brief · 编辑速览

文章通过无模型调用的合成测试,区分 Promise 正常结束、MCP 结果中的 isError,以及外部系统实际状态。仅检查调用完成会漏掉工具明确报告的失败,使智能体继续执行。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

await 正常结束、应用拿到返回值、trace 里出现已完成的工具调用,测试也亮了绿灯,工具却可能明确返回 isError: true。这些信号并不矛盾:JavaScript 的执行完成,不等于 MCP 工具执行成功,更不等于业务目标已经达成。

AgentInspect 的维护者用一个不调用模型的合成测试,展示了这种容易被漏掉的失败。对接 MCP、编写 Agent 测试的程序员可以从中拿走一个直接可用的改进:让断言检查工具报告的结果,并明确测试究竟验证到了哪一层。

Promise 完成,究竟证明了什么

原文把容易混在一起的「成功」拆成了三个问题。

首先,调用有没有在协议或执行层面报错,例如 Promise 被拒绝。其次,工具是否在正常返回的结果里报告失败。MCP 允许一个有效结果携带 isError: true,因此调用可以正常返回,同时表达操作被拒绝。最后,业务要求的效果是否真的发生,这通常还需要额外证据。

预订工具正常返回「库存不足」,不代表预订成功;邮件工具接受了消息,也不能直接证明邮件送达;数据库写入遇到超时,甚至可能无法立即判断是否已经写入。

完成状态只能证明某个执行边界已经结束,不能替工具和业务结果作保证。

这也是原文最有用的区分:一个绿色检查,必须能回答自己检查了什么。

给测试补上结果断言,绿灯就可能变红

作者固定使用 agent-inspect@6.31.35 和 @agent-inspect/mcp@6.31.35,安装命令如下:

npm install --save-exact agent-inspect@6.31.35 @agent-inspect/mcp@6.31.35

这里要保留 --save-exact。后面涉及的 TraceContract 仍处于 beta 阶段,固定版本才能让测试结果有明确的复现依据。

实验没有搭建真实 MCP server,而是给 wrapMcpClient 传入一个假客户端:它的 callTool() 总是返回同一个对象,其中包含 isError: true,以及文本 Synthetic request rejected。随后,作者通过 inspectRun 调用 lookup_policy,传入空的 arguments: {},并把 trace 写入临时目录。

这个测试还用 assert.strictEqual(returned, response) 检查对象身份。目的很具体:插桩之后,调用方拿到的仍应是原来的结果对象,包装器不能悄悄换一个对象,也不能擅自把返回错误变成异常。在这个版本里,包装器保留原结果,同时记录一条失败的结果观测。

真正揭示问题的是下面这组对照断言。它解决的是「调用结束了,测试就通过」的盲区:

import { openTraceFile } from "agent-inspect/readers";
import {
  defineTraceContract,
  evaluateTraceContractRead,
} from "agent-inspect/checks";

const trace = await openTraceFile(join(traceDir, filename));

const completionOnly = evaluateTraceContractRead(
  trace,
  defineTraceContract({ run: { requireCompleted: true } }),
);

const withOutcomes = evaluateTraceContractRead(
  trace,
  defineTraceContract({
    run: { requireCompleted: true },
    observations: { failOn: ["failed"] },
  }),
);

assert.equal(completionOnly.status, "pass");
assert.equal(withOutcomes.status, "fail");

关键是 observations: { failOn: ["failed"] } 这一行。同一份 trace,只检查 requireCompleted: true 时通过,加入失败观测检查后则失败。这是作者提供的测试框架实测结果,不是示意输出。

不过,第二个检查也有边界:它证明捕获到的观测报告了失败,证据来自 MCP 响应。AgentInspect 并没有因此独立查询预订系统,也没有核实数据库事务。工具怎么说,与外部系统实际怎样,仍是两层证据。

收到工具错误后,为什么不能统一重试

isError 表示失败,却没有说明失败是否值得重试。

参数格式错误、权限被拒绝、资源不可用、依赖临时故障,都可能表现为不成功的工具结果。前两种情况如果输入和权限没有变化,重复调用只会增加工作量。写操作更麻烦:响应不明确时再次提交,可能重复产生副作用。

因此,作者主张由应用制定有次数或范围限制的恢复策略,把只读调用与写操作分开处理。远端服务支持幂等时,应遵循它实际提供的约定。包装器或 trace 字段,都不能保证一次操作恰好执行一次。

错误文字也不适合直接充当策略接口。看到 timeout 就认定可以重试,可能把未知结果误判为未执行。服务端如果提供经过审查的结构化错误类别,就针对类别写测试;没有的话,应保留不确定性。

记录失败和决定下一步,是两份职责。应用可以解释拒绝原因、选择已获授权的替代方案、请求澄清或者停止,追踪适配器只负责留下证据。

我的判断

我认同作者把测试边界说清楚的做法。相比继续检查 Agent 最后一句话是否像成功答复,直接验证工具结果,更贴近这次故障的来源。

但这篇文章的证据范围很窄。假客户端验证的是包装器处理返回结果的分支,不足以证明真实 SDK、网络和业务系统都能正确工作。作者补充了通过内存传输连接已安装 MCP SDK 客户端与服务端的测试,但这仍不覆盖网络重连、认证或所有传输方式。

实际接入还需要检查正常结果、抛出异常、isError、取消、方法接收者和生命周期方法,并用服务端独立统计的 handler 调用次数核对捕获记录。原文没有给出生产事故数据或不同方案的对照收益,不能据此宣称某个工具能普遍提高 Agent 成功率。

最值得采用的是断言方法:执行完成、工具报告、业务效果,各自使用对应的证据。

能拿来做什么

  • 如果 Node 项目的 Agent 测试目前只等待 Promise 完成,就加入一个明确返回 isError: true 的 fixture,检查它是否仍被判为成功。
  • 接入 wrapMcpClient 等包装器时,验证原结果对象是否保留,再补真实 SDK 集成测试,覆盖异常、取消和生命周期行为。
  • 给 MCP 工具制定恢复策略时,分别处理只读与写操作;对结果未知的写入,先依据服务端契约确认状态,再决定后续动作。
  • 在测试报告里写明绿色结果验证的是调用完成、工具结果,还是独立核验的业务效果,避免团队把局部通过理解成全流程成功。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
让 Claude 设计电路板,并逐步校验
下一篇
本地核算多种编程代理的用量成本

资讯速览

dev.to · AI · 2026-11-16 22:28

AI 评分 8.0 / 10

相关标签

#MCP#智能体#测试

继续阅读

  • Agent 交付齐全,架构却偏离需求
  • 让 Claude 设计电路板,并逐步校验
  • 本地核算多种编程代理的用量成本
  • 本地跑模型,内存与上下文如何取舍
  • 本地 AI 知识库难在模型之外