基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-18 09:23

MCP 返回正确答案仍可能违反协议

dev.to · AI#MCP#测试#接口契约
Editor brief · 编辑速览

一次外部审计发现,MCP 工具虽返回正确业务结果,却可能因缺少声明字段而无法通过严格客户端的输出校验。作者复测发现 37 个工具中有 33 个成功分支通过,强调既要验证输出契约,也要准确报告缺陷范围。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

MCP 工具返回了正确的价格和会话 ID,HTTP 状态也是 200,严格客户端却可能把整次调用判为失败。Zambo 团队在 11 月 17 日的一次外部审计中发现,几个工具漏掉了自己在 outputSchema 中声明为必填的 next 字段。团队原来的测试只检查业务结果,没检查响应是否兑现了工具的声明。

这篇复盘里最有用的是发布后的复测。严格校验通过了,但漏字段仍然能复现,因为团队把 next 改成了可选项。两组结果放在一起,才看得清这次发布修复了什么,以及调用方还能依赖什么。

为什么 HTTP 200 和正确结果还不够

MCP 工具可以用 outputSchema 声明结构化响应的格式,客户端据此校验返回的 structuredContent。可以把它理解为一份随工具发布的接口契约。HTTP 200 只说明这次 HTTP 请求成功处理,客户端还要确认拿到的数据符合它被告知的结构。只取会话 ID 的测试能通过,检查所有必填字段的客户端则可能拒绝整份响应。

Zambo 默认开放的工具都曾要求返回 next,用来告诉调用方下一步可以做什么。外部 AI 审计发现 day_pass_status 有时会漏掉它。作者随后加严测试,又发现审计没测到的 new_session 在发布前抽测 5 次,5 次成功响应都缺 next。live_price 的首次调用带了该字段,同一会话中 4 次继续调用有 3 次漏掉,只有 ETH 那次通过了校验。

问题出在各分支分别组装响应。首次调用拿到完整的外层结构,部分继续调用和状态查询走了另一套返回逻辑。价格和会话 ID 都能正常读出来,检查业务值的旧测试自然也能通过。不过,审计据此声称「所有工具都失败」就超出了证据。团队当晚对照线上 schema 跑了发布前测试,37 个工具中有 33 个的成功分支通过校验。

发布后通过校验,漏字段为什么还在

团队把 next 从 37 个默认工具的必填集合中移除,保留了它的属性定义。发布后复测中,29 个可达的成功分支全部通过。空参数触发的错误分支 37/37 通过,错误参数类型的探测 3/3 通过。这里的 29/29 只覆盖当时可达的成功分支,也无法与发布前的 33/37 直接相减来计算修复了几个工具。

再看字段本身,发布后 new_session 抽测 3 次全没带 next,live_price 在同一会话的 3 次继续调用也全没带,day_pass_status 的 5 次响应里只有 1 次带了它。客户端现在能接受这些响应,是因为新版契约允许省略。作者也承认,如果调用方确实依赖这条导航提示,由统一的响应构造逻辑补齐字段,再用契约测试锁住行为,会更稳妥。

同次发布还修正了两处工具标注。线上工具列表里的 day_pass_redeem 和 new_session 现在都报告 readOnlyHint: false,与它们会修改状态的事实一致。团队还检查了 scam_check 的判定值。描述承诺的范围是 clean、caution、suspicious、scam 或 unknown,一次 paypa1 仿冒域名测试返回了 suspicious,结果里也点明了该域名。这次检查验证了一个样本的输出符合声明,无法据此判断整个工具的识别准确率。

拒绝也要让调用方拿到能处理的结果

截至作者发文,day_pass_activate 收到无效支付字符串后仍会返回 HTTP 503。JSON-RPC 错误称拒绝记录无法持久化,响应里没有工具结果。同样收到无效输入时,day_pass_redeem 能为无效 token 返回符合 schema 的拒绝结果。两条路径的实际差异在于,后者能让调用方读到保存状态、拒绝原因和后续动作,前者只留下协议错误。

审计还声称服务器指令要求代理默认付费。团队当晚两次抓取 initialize 指令,两份内容逐字节一致。指令要求先查找能力,领取免费,并禁止编造活动、数量、支付或完成状态。审计指向的付款说明实际位于配额拦截结果的 policy 字段。只有用户的钱包或支出策略明确授权,代理才可以支付 $0.99 的 Day Pass,否则应把结账链接交给人,禁止扣卡。

团队发布后重新检查了这条配额路径。拒绝仍以凭证返回,里面有保留原始调用参数的已保存任务、绑定该任务的结账链接、完整的 x402 支付对象,以及付款后重试同一调用的说明。原文提供的是发布后的形态复核,没有给出支付转化方面的对照数据。

第三方可核验,为什么还要有私有选项

Zambo 把执行凭证作为产品核心,作者将 AER-1 称为定义这类凭证的标准。按原文的解释,凭证可以让第三方核验已保存的结果后来有没有被改动。答案是否正确,仍需要单独判断。团队据此保留了默认公开、进入公开列表的做法,同时增加了显式传入 receipt_visibility: "private" 的选项。

团队当晚验证了私有选项。私有凭证须通过持有者链接访问,直接访问裸地址会收到 HTTP 404,消息为 Private receipts require their access link,并带有 no-store 和 noindex 响应头。测试凭证、它的标记和任务 ID 都没出现在公开列表,同一会话的公开凭证则正常列出。私有凭证仍可通过 verify 端点获得有效判定,已有公开凭证也通过了发布后的回归检查。

原文提供了一次自家统计端点的快照,更新时间是 11 月 18 日 01:22 UTC,也就是 11 月 17 日 20:22 ET。当时的 Zambo Stack 4.1.4 默认提供 37 个工具,完整入口有 153 个。快照记录了 146,142 张公开凭证,其中当天 323 张,另有 9,115 张私有凭证、125,077 次工具调用、21 位已验证付费者,以及最近 30 天 $19.80 的收入。

我的判断

把真实返回值拿去校验线上声明,比给测试客户端加几条「调用成功」断言更能发现这里的问题。作者给出了漏字段的复现次数,也公开了改 schema 后的复测结果。不过,统一补字段和放宽契约哪种更合适,取决于调用方会不会用 next 做流程控制。原文没有给出客户端使用情况,也没有两种修法的对照数据。作者倾向统一补齐,属于有现场依据的工程判断。

公开凭证的默认值也取决于产品前提。Zambo 需要让第三方无需账号就能核验,公开列表适合这个目标。对于只在团队内部流转的工具,结果里可能包含项目材料,此时可以默认限制访问,在确有外部核验需求时再发链接。原文测了公开列表隔离和链接访问,没交代链接能否撤销或何时失效。采用这套方式前,需要按自己的数据流转要求确认这些细节。

能拿来做什么

  • 给 Node MCP 服务的 CI 加一层契约测试,从工具列表读取 outputSchema,对每个工具的成功、拒绝和返回结构化结果的错误分支校验 structuredContent。遇到 JSON-RPC 错误时单独断言,并明确哪些场景应返回工具结果。
  • 给有会话状态的工具加一条多轮测试,在同一会话里跑首次调用和连续调用。若前端要根据 next 显示下一步操作,就把它纳入契约测试。若它只是一条提示,就声明为可选,并验证前端在缺省时仍能正常渲染。
  • 用 AI 做接口审查时,要求报告附上工具名、触发分支、原始响应和对应 schema。看到「所有工具」或「默认付费」这样的结论,分别核对覆盖数量和原始 initialize 内容,再决定改哪一处。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
用八类陷阱测试摘要提示词
下一篇
GPT-6.2双模型发布,Sol性能接近旗舰

资讯速览

dev.to · AI · 2026-11-18 09:23

AI 评分 8.0 / 10

相关标签

#MCP#测试#接口契约

继续阅读

  • 用执行回执核对智能体交付结果
  • 用八类陷阱测试摘要提示词
  • GPT-6.2双模型发布,Sol性能接近旗舰
  • 国区应用上架新增AI内容合规必填项
  • 模型没改却变差了,怎样排查漂移