MCP 调用返回成功,不代表操作成功
文章通过无模型调用的合成测试,区分 Promise 正常结束、MCP 结果中的 isError,以及外部系统实际状态。仅检查调用完成会漏掉工具明确报告的失败,使智能体继续执行。
AI 深度解读
await 正常结束、应用拿到返回值、trace 里出现已完成的工具调用,测试也亮了绿灯,工具却可能明确返回 isError: true。这些信号并不矛盾:JavaScript 的执行完成,不等于 MCP 工具执行成功,更不等于业务目标已经达成。
AgentInspect 的维护者用一个不调用模型的合成测试,展示了这种容易被漏掉的失败。对接 MCP、编写 Agent 测试的程序员可以从中拿走一个直接可用的改进:让断言检查工具报告的结果,并明确测试究竟验证到了哪一层。
Promise 完成,究竟证明了什么
原文把容易混在一起的「成功」拆成了三个问题。
首先,调用有没有在协议或执行层面报错,例如 Promise 被拒绝。其次,工具是否在正常返回的结果里报告失败。MCP 允许一个有效结果携带 isError: true,因此调用可以正常返回,同时表达操作被拒绝。最后,业务要求的效果是否真的发生,这通常还需要额外证据。
预订工具正常返回「库存不足」,不代表预订成功;邮件工具接受了消息,也不能直接证明邮件送达;数据库写入遇到超时,甚至可能无法立即判断是否已经写入。
完成状态只能证明某个执行边界已经结束,不能替工具和业务结果作保证。
这也是原文最有用的区分:一个绿色检查,必须能回答自己检查了什么。
给测试补上结果断言,绿灯就可能变红
作者固定使用 agent-inspect@6.31.35 和 @agent-inspect/mcp@6.31.35,安装命令如下:
npm install --save-exact agent-inspect@6.31.35 @agent-inspect/mcp@6.31.35
这里要保留 --save-exact。后面涉及的 TraceContract 仍处于 beta 阶段,固定版本才能让测试结果有明确的复现依据。
实验没有搭建真实 MCP server,而是给 wrapMcpClient 传入一个假客户端:它的 callTool() 总是返回同一个对象,其中包含 isError: true,以及文本 Synthetic request rejected。随后,作者通过 inspectRun 调用 lookup_policy,传入空的 arguments: {},并把 trace 写入临时目录。
这个测试还用 assert.strictEqual(returned, response) 检查对象身份。目的很具体:插桩之后,调用方拿到的仍应是原来的结果对象,包装器不能悄悄换一个对象,也不能擅自把返回错误变成异常。在这个版本里,包装器保留原结果,同时记录一条失败的结果观测。
真正揭示问题的是下面这组对照断言。它解决的是「调用结束了,测试就通过」的盲区:
import { openTraceFile } from "agent-inspect/readers";
import {
defineTraceContract,
evaluateTraceContractRead,
} from "agent-inspect/checks";
const trace = await openTraceFile(join(traceDir, filename));
const completionOnly = evaluateTraceContractRead(
trace,
defineTraceContract({ run: { requireCompleted: true } }),
);
const withOutcomes = evaluateTraceContractRead(
trace,
defineTraceContract({
run: { requireCompleted: true },
observations: { failOn: ["failed"] },
}),
);
assert.equal(completionOnly.status, "pass");
assert.equal(withOutcomes.status, "fail");
关键是 observations: { failOn: ["failed"] } 这一行。同一份 trace,只检查 requireCompleted: true 时通过,加入失败观测检查后则失败。这是作者提供的测试框架实测结果,不是示意输出。
不过,第二个检查也有边界:它证明捕获到的观测报告了失败,证据来自 MCP 响应。AgentInspect 并没有因此独立查询预订系统,也没有核实数据库事务。工具怎么说,与外部系统实际怎样,仍是两层证据。
收到工具错误后,为什么不能统一重试
isError 表示失败,却没有说明失败是否值得重试。
参数格式错误、权限被拒绝、资源不可用、依赖临时故障,都可能表现为不成功的工具结果。前两种情况如果输入和权限没有变化,重复调用只会增加工作量。写操作更麻烦:响应不明确时再次提交,可能重复产生副作用。
因此,作者主张由应用制定有次数或范围限制的恢复策略,把只读调用与写操作分开处理。远端服务支持幂等时,应遵循它实际提供的约定。包装器或 trace 字段,都不能保证一次操作恰好执行一次。
错误文字也不适合直接充当策略接口。看到 timeout 就认定可以重试,可能把未知结果误判为未执行。服务端如果提供经过审查的结构化错误类别,就针对类别写测试;没有的话,应保留不确定性。
记录失败和决定下一步,是两份职责。应用可以解释拒绝原因、选择已获授权的替代方案、请求澄清或者停止,追踪适配器只负责留下证据。
我的判断
我认同作者把测试边界说清楚的做法。相比继续检查 Agent 最后一句话是否像成功答复,直接验证工具结果,更贴近这次故障的来源。
但这篇文章的证据范围很窄。假客户端验证的是包装器处理返回结果的分支,不足以证明真实 SDK、网络和业务系统都能正确工作。作者补充了通过内存传输连接已安装 MCP SDK 客户端与服务端的测试,但这仍不覆盖网络重连、认证或所有传输方式。
实际接入还需要检查正常结果、抛出异常、isError、取消、方法接收者和生命周期方法,并用服务端独立统计的 handler 调用次数核对捕获记录。原文没有给出生产事故数据或不同方案的对照收益,不能据此宣称某个工具能普遍提高 Agent 成功率。
最值得采用的是断言方法:执行完成、工具报告、业务效果,各自使用对应的证据。
能拿来做什么
- 如果 Node 项目的 Agent 测试目前只等待 Promise 完成,就加入一个明确返回
isError: true的 fixture,检查它是否仍被判为成功。 - 接入
wrapMcpClient等包装器时,验证原结果对象是否保留,再补真实 SDK 集成测试,覆盖异常、取消和生命周期行为。 - 给 MCP 工具制定恢复策略时,分别处理只读与写操作;对结果未知的写入,先依据服务端契约确认状态,再决定后续动作。
- 在测试报告里写明绿色结果验证的是调用完成、工具结果,还是独立核验的业务效果,避免团队把局部通过理解成全流程成功。