接入 738 个 MCP 工具后,Claude Code 怎么选
作者将 71 项任务运行三轮,其中两轮接入全部服务器,一轮禁用 12 台。全量接入时,纳入评分的 189 次选择中没有选错服务器,有 19 次改用了 Shell。
AI 深度解读
Claude Code 接上 738 个 MCP 工具,会不会把邮件搜索认成日历搜索?作者用 71 道任务跑了三轮。在 189 次有预设答案的首选中,模型没有一次选到错误的 MCP 服务器,却有 19 次转向 Shell。
对把 GitHub、团队文档和本地项目一起交给 AI 的程序员来说,更值得测的是模型会走哪条路径。同一件事既能用 MCP 做,也能用命令行做,选对服务和走对权限入口是两回事。
738 个工具为什么没有把模型绕晕
Claude Code 的 MCP 工具搜索会把大部分完整定义留在上下文窗口之外,先让模型看到工具名,等模型请求时再加载定义。作者接了 19 台服务器,其中 10 台提供名称以 search 开头的工具,合计 25 个,另有 3 台提供图像生成器。看起来有不少重叠,但工具名里带着服务器信息,邮件搜索和日历搜索在名单上容易区分。
运行日志也支持这个解释。213 个会话一共发出 197 次工具搜索请求,其中 196 次按完整工具名查找,只有 1 次用关键词。少数工具一开始就加载了完整定义,例如会议笔记搜索有一次直接被调用,前面没有 ToolSearch。在预先指定搜索工具的 24 道题里,每轮都答对 20 道。答偏时也没有去调用另一台服务器的搜索工具。
这里有两个条件。多数题目已经点出了邮件、笔记库或代码仓库,给模型留下的判断空间比较小。作者也只测了会延迟加载定义、先展示名称的客户端。把所有工具定义一次性塞进上下文,结果会怎样,原文没有数据。
模型更常在 MCP 和命令行之间选错路线
189 次评分里有 28 次未命中。4 次找对了服务器,但第一步不在预设名单里,例如查 DNS 记录前先列出团队。其余 24 次选了客户端内置能力,其中 19 次走 Shell。12 次用 gh 处理 GitHub 任务,另有 7 次列出或搜索本地文件,误判了任务要找的地方。这 7 次里有 3 次来自一道没点明服务的题。剩下 5 次里,模型有 3 次先打开客户端的已保存页面,有 2 次先调用已安装的技能。
GitHub 的结果最容易代入日常开发。三轮合计 48 次 GitHub 选择,有 12 次用了 gh,满配 738 个工具和屏蔽后可选 454 个工具时都出现过。问当前登录的是哪个 GitHub 账号,模型选的是 gh auth status。作者加载的指令文件没有提到 gh,至于客户端的 Shell 工具说明是否提到了,作者没查。
按实验规则,能回答问题的 Shell 命令也算未命中。实验在首个实际调用前停住了,所以这些命令是否真能得到正确结果,原文没有验证。如果团队要求 GitHub 操作走 MCP 的权限入口,这种路径偏好就值得单独测。
屏蔽 284 个工具,变化出现在 token 和开放题上
作者于 2026 年 11 月 22 日用 Claude Code 2.1.325 和账号默认模型 Claude Opus 5.5 完成测试。71 道题中,63 道在开跑前写好了可接受的首个工具,其中 7 道接受指定服务器上的任意工具。这 63 道题都指向计划保留的 7 台服务器。其余 8 道是开放题,比如找出讨论招聘的那次会议。
前两轮保持 19 台服务器全开,第三轮用 --disallowedTools 屏蔽过去 30 天没调用过的 12 台服务器上的工具。少了 284 个可选工具,包括 25 个搜索工具中的 10 个。被屏蔽的服务器仍然连接,服务说明也仍在上下文里,因此实验测到的是屏蔽后的变化。每道题都在独立的新会话里运行,项目平时的指令文件照常加载。
两轮相同配置之间有 2 道题从错变对。第三轮和第二轮相比,有 1 道从错变对、3 道从对变错,和第一轮相比则是两个方向各 2 道。作者采用显著性水平为 5% 的双侧符号检验,最少需要 6 道题全部朝同一方向翻转才过门槛。6 道占 63 道接近 10 个百分点,这组测试很难识别小幅变化。
API 报告的首个请求输入量含缓存,从约 82,000 token 降到约 67,100,少了约 14,900。作者上一篇用客户端估算,同一变更在 43,300 的基数上少了 9,300 token。两处数字的统计口径不同,作者还没有对齐。
开放题有 3 道换了首选路径。原先会查过去 30 天没用过的服务,屏蔽后改去邮箱里找日程。另 5 道首选没变,黄昏灯塔的绘图任务在候选生成器从 3 个减到 2 个后,仍选中同一个。屏蔽组只跑了一轮,这 3 道题自身的波动和最终答案都没有测到。
怎样只测首选工具,避免实际执行
作者用下面这段 hook 放行 ToolSearch,在第一个实际工具执行前停止会话,从输出里读出模型的选择。
import json, sys
call = json.load(sys.stdin)
if call.get("tool_name") == "ToolSearch":
sys.exit(0)
print(json.dumps({
"continue": False,
"stopReason": "pick recorded",
"hookSpecificOutput": {
"hookEventName": "PreToolUse",
"permissionDecision": "deny",
"permissionDecisionReason": "measurement run",
},
}))
留意 "permissionDecision": "deny" 这一行。除了前面放行的 ToolSearch,这个 hook 会拒绝实际调用。作者把它注册成匹配所有工具的 PreToolUse hook,放在独立设置文件里,用 --settings 传给测试会话。
每道题用 -p --input-format stream-json --output-format stream-json --verbose 单独启动,等服务器连接后再把任务写入标准输入。作者等了 25 秒,以输出中首个 ToolSearch 之外的调用为准。71 道题开 4 个并行会话,一轮约 10 分钟,每个会话都会消耗真实配额或 API 用量。
我的判断
我会把「先测两轮原配置」当成最值得复用的做法。只跑一次前后对比,很容易把本来就会发生的首选变化归给配置调整。作者测的是单日、单模型和一套个人工具环境,且 63 道评分题的正确服务全部位于保留组。这个设计能看出屏蔽其他候选后,模型是否更容易选中保留服务,却很难衡量那些低频服务本身的价值。开放题刚好提示了这块缺口。
如果目的只是拿到答案,首选是否命中还得和端到端结果一起看。先列团队可能是查 DNS 的合理前置步骤,gh 也可能查到所需信息。如果目的是让操作走指定权限入口,首选工具就值得单独计分。作者提出写一条项目指令或移除一个入口,两种做法都没做对照,目前只能视为待验证的经验建议。
能拿来做什么
- 给日常 AI 编程挑一组真实任务,比如查 Next.js 仓库里的 hydration issue,再给其中几道配上省略仓库或服务名的版本,分别观察模型的首选。
- 如果团队要求 GitHub 操作走 MCP,把允许的首个工具提前写进评分表,单独记录
gh回退。原配置跑两遍,再只改一条路由指令,看同一道题是否稳定改走指定入口。 - 清理闲置服务器前,给每个准备停用的服务留一道只有它最适合回答的题。先用首选测试看模型会转向哪里,再用只读任务验证替代路径能否找到同一份信息。