MCP 返回正确答案仍可能违反协议
一次外部审计发现,MCP 工具虽返回正确业务结果,却可能因缺少声明字段而无法通过严格客户端的输出校验。作者复测发现 37 个工具中有 33 个成功分支通过,强调既要验证输出契约,也要准确报告缺陷范围。
AI 深度解读
MCP 工具返回了正确的价格和会话 ID,HTTP 状态也是 200,严格客户端却可能把整次调用判为失败。Zambo 团队在 11 月 17 日的一次外部审计中发现,几个工具漏掉了自己在 outputSchema 中声明为必填的 next 字段。团队原来的测试只检查业务结果,没检查响应是否兑现了工具的声明。
这篇复盘里最有用的是发布后的复测。严格校验通过了,但漏字段仍然能复现,因为团队把 next 改成了可选项。两组结果放在一起,才看得清这次发布修复了什么,以及调用方还能依赖什么。
为什么 HTTP 200 和正确结果还不够
MCP 工具可以用 outputSchema 声明结构化响应的格式,客户端据此校验返回的 structuredContent。可以把它理解为一份随工具发布的接口契约。HTTP 200 只说明这次 HTTP 请求成功处理,客户端还要确认拿到的数据符合它被告知的结构。只取会话 ID 的测试能通过,检查所有必填字段的客户端则可能拒绝整份响应。
Zambo 默认开放的工具都曾要求返回 next,用来告诉调用方下一步可以做什么。外部 AI 审计发现 day_pass_status 有时会漏掉它。作者随后加严测试,又发现审计没测到的 new_session 在发布前抽测 5 次,5 次成功响应都缺 next。live_price 的首次调用带了该字段,同一会话中 4 次继续调用有 3 次漏掉,只有 ETH 那次通过了校验。
问题出在各分支分别组装响应。首次调用拿到完整的外层结构,部分继续调用和状态查询走了另一套返回逻辑。价格和会话 ID 都能正常读出来,检查业务值的旧测试自然也能通过。不过,审计据此声称「所有工具都失败」就超出了证据。团队当晚对照线上 schema 跑了发布前测试,37 个工具中有 33 个的成功分支通过校验。
发布后通过校验,漏字段为什么还在
团队把 next 从 37 个默认工具的必填集合中移除,保留了它的属性定义。发布后复测中,29 个可达的成功分支全部通过。空参数触发的错误分支 37/37 通过,错误参数类型的探测 3/3 通过。这里的 29/29 只覆盖当时可达的成功分支,也无法与发布前的 33/37 直接相减来计算修复了几个工具。
再看字段本身,发布后 new_session 抽测 3 次全没带 next,live_price 在同一会话的 3 次继续调用也全没带,day_pass_status 的 5 次响应里只有 1 次带了它。客户端现在能接受这些响应,是因为新版契约允许省略。作者也承认,如果调用方确实依赖这条导航提示,由统一的响应构造逻辑补齐字段,再用契约测试锁住行为,会更稳妥。
同次发布还修正了两处工具标注。线上工具列表里的 day_pass_redeem 和 new_session 现在都报告 readOnlyHint: false,与它们会修改状态的事实一致。团队还检查了 scam_check 的判定值。描述承诺的范围是 clean、caution、suspicious、scam 或 unknown,一次 paypa1 仿冒域名测试返回了 suspicious,结果里也点明了该域名。这次检查验证了一个样本的输出符合声明,无法据此判断整个工具的识别准确率。
拒绝也要让调用方拿到能处理的结果
截至作者发文,day_pass_activate 收到无效支付字符串后仍会返回 HTTP 503。JSON-RPC 错误称拒绝记录无法持久化,响应里没有工具结果。同样收到无效输入时,day_pass_redeem 能为无效 token 返回符合 schema 的拒绝结果。两条路径的实际差异在于,后者能让调用方读到保存状态、拒绝原因和后续动作,前者只留下协议错误。
审计还声称服务器指令要求代理默认付费。团队当晚两次抓取 initialize 指令,两份内容逐字节一致。指令要求先查找能力,领取免费,并禁止编造活动、数量、支付或完成状态。审计指向的付款说明实际位于配额拦截结果的 policy 字段。只有用户的钱包或支出策略明确授权,代理才可以支付 $0.99 的 Day Pass,否则应把结账链接交给人,禁止扣卡。
团队发布后重新检查了这条配额路径。拒绝仍以凭证返回,里面有保留原始调用参数的已保存任务、绑定该任务的结账链接、完整的 x402 支付对象,以及付款后重试同一调用的说明。原文提供的是发布后的形态复核,没有给出支付转化方面的对照数据。
第三方可核验,为什么还要有私有选项
Zambo 把执行凭证作为产品核心,作者将 AER-1 称为定义这类凭证的标准。按原文的解释,凭证可以让第三方核验已保存的结果后来有没有被改动。答案是否正确,仍需要单独判断。团队据此保留了默认公开、进入公开列表的做法,同时增加了显式传入 receipt_visibility: "private" 的选项。
团队当晚验证了私有选项。私有凭证须通过持有者链接访问,直接访问裸地址会收到 HTTP 404,消息为 Private receipts require their access link,并带有 no-store 和 noindex 响应头。测试凭证、它的标记和任务 ID 都没出现在公开列表,同一会话的公开凭证则正常列出。私有凭证仍可通过 verify 端点获得有效判定,已有公开凭证也通过了发布后的回归检查。
原文提供了一次自家统计端点的快照,更新时间是 11 月 18 日 01:22 UTC,也就是 11 月 17 日 20:22 ET。当时的 Zambo Stack 4.1.4 默认提供 37 个工具,完整入口有 153 个。快照记录了 146,142 张公开凭证,其中当天 323 张,另有 9,115 张私有凭证、125,077 次工具调用、21 位已验证付费者,以及最近 30 天 $19.80 的收入。
我的判断
把真实返回值拿去校验线上声明,比给测试客户端加几条「调用成功」断言更能发现这里的问题。作者给出了漏字段的复现次数,也公开了改 schema 后的复测结果。不过,统一补字段和放宽契约哪种更合适,取决于调用方会不会用 next 做流程控制。原文没有给出客户端使用情况,也没有两种修法的对照数据。作者倾向统一补齐,属于有现场依据的工程判断。
公开凭证的默认值也取决于产品前提。Zambo 需要让第三方无需账号就能核验,公开列表适合这个目标。对于只在团队内部流转的工具,结果里可能包含项目材料,此时可以默认限制访问,在确有外部核验需求时再发链接。原文测了公开列表隔离和链接访问,没交代链接能否撤销或何时失效。采用这套方式前,需要按自己的数据流转要求确认这些细节。
能拿来做什么
- 给 Node MCP 服务的 CI 加一层契约测试,从工具列表读取
outputSchema,对每个工具的成功、拒绝和返回结构化结果的错误分支校验structuredContent。遇到 JSON-RPC 错误时单独断言,并明确哪些场景应返回工具结果。 - 给有会话状态的工具加一条多轮测试,在同一会话里跑首次调用和连续调用。若前端要根据
next显示下一步操作,就把它纳入契约测试。若它只是一条提示,就声明为可选,并验证前端在缺省时仍能正常渲染。 - 用 AI 做接口审查时,要求报告附上工具名、触发分支、原始响应和对应 schema。看到「所有工具」或「默认付费」这样的结论,分别核对覆盖数量和原始
initialize内容,再决定改哪一处。