给 MCP 新增工具前先测 Token 开销
作者以一个包含图像和视频生成工具的 MCP 服务为例,测量工具名称、描述和参数定义占用的上下文。工具即使未被调用,其定义被客户端发给模型时也会消耗输入 Token,具体数量取决于分词器。
AI 深度解读
MCP 工具即使没被调用,只要宿主把它的定义随请求发给模型,就会占用输入上下文。作者在给自家的视频生成 MCP 服务加第三个工具前,先量了现有两个工具的定义有多大。结果是每轮约 200 token,占 200k 上下文窗口的约千分之一。
这个数字只对应作者的服务。更值得带走的是量法:用宿主实际发送的工具定义做一次审计,算出每次新增工具的开销,再决定默认开放哪些能力。十轮累计输入和单轮窗口占用是两笔账,审计结果也要分开看。
工具一次没调用,为什么也占上下文?
原文提到,作者在 DEV 的每周扫描中看到,讨论 MCP 上下文开销的热门帖子有 57 条评论。不少留言者叠到五六个服务后才发现这笔开销。这些留言提供了讨论背景,实际开销还得看宿主发给模型的内容。
模型要从一组工具里选出合适的那个,需要先知道工具叫什么、能做什么、参数怎么填。在原文讨论的发送方式下,宿主每轮都会带上工具名、描述和完整的输入 JSON Schema。只要定义还在请求里,即使这一轮模型只回答问题,定义也会占输入空间。如果宿主能按任务筛选工具,计量范围就以当轮发出的清单为准。
两个工具每轮约 200 token,是怎么算出来的?
作者测的是 nova-ops-nim-mcp v1.0.0,提交 5cd2dd3,运行环境是 Node v24.22.1。服务只有两个工具:nim_generate_image 用 Flux Pro 或 Flux Realism 生成图片,nim_generate_video 把图片转成视频,并接收时长和运动风格参数。
原文给出一个约 30 行、零依赖的审计脚本。下面这段把宿主实际发送的定义序列化,按每 token 对应 4 个和 3.6 个字符分别估算单个工具的开销。
const tools = [ /* your tool definitions, as your host sends them */ ];
for (const t of tools) {
const s = JSON.stringify(t);
console.log(t.name, "chars=", s.length,
"estTokens@4cpt=", Math.ceil(s.length / 4),
"estTokens@3.6cpt=", Math.ceil(s.length / 3.6));
}
const all = JSON.stringify(tools);
const perTurn = Math.ceil(all.length / 4);
console.log("TOTAL tools=", tools.length, "chars=", all.length,
"estTokensPerTurn@4cpt=", perTurn);
console.log("10-turn cumulative @4cpt=", perTurn * 10);
console.log("Share of a 200k window @4cpt=",
(perTurn / 200000 * 100).toFixed(3) + "%");
留意 const perTurn = Math.ceil(all.length / 4) 这一行。总量按整个数组序列化后的长度算,只用了 4 字符/token 的口径。原文带完整定义的脚本叫 audit-tools.js,运行输出如下。
nim_generate_image chars= 309 estTokens@4cpt= 78 estTokens@3.6cpt= 86
nim_generate_video chars= 478 estTokens@4cpt= 120 estTokens@3.6cpt= 133
TOTAL tools= 2 chars= 790 estTokensPerTurn@4cpt= 198
10-turn cumulative @4cpt= 1980
Share of a 200k window @4cpt= 0.099%
790 是这份序列化字符串的 JavaScript length,按 UTF-16 码元计。198 是用比例换算出来的估值,实际 token 数随模型的 tokenizer 变化。1,980 则是同一份定义发 10 次的累计输入估值。在单次请求里,这份定义对应的是 198 token,约占 200k 窗口的 0.099%。
加第三个工具前,团队定了什么规则?
作者按每个工具约 100 token 外推。如果一个服务开放 50 个同等大小的工具,光定义就约有 5,000 token。这是按比例算出来的,原文没有跑过 50 工具的对照测试。多个服务同时启用时,开销取决于宿主最终发出了多少定义。
团队要求新增工具的 PR 写明每轮估算增量,把整台服务的定义控制在每轮 1,000 估算 token 以下,超预算就替换已有工具。参数说明尽量各用一短行,如果一个参数要解释一整段,就检查工具职责是否太宽。原文还把预算写成「按当前平均值约五个工具」。按前文每个约 100 token 计算,1,000 token 对应约十个工具的量级,原文没交代五个是怎么得出的。
我的判断
这套审计适合做 PR 检查。序列化长度容易复测,也能让评审看见一次新增到底带了多少描述和参数。固定预算适合默认工具集稳定的服务。如果同一个宿主同时跑多种任务,按任务筛选工具可以直接缩小每轮的定义集合,但也要验证筛选后该用的工具仍然可用。
作者认为两个用途不同的工具容易选,也提醒提示词缓存能降低符合条件的重复输入费用,工具定义仍占当轮上下文。文章实测的是定义长度,没有提供工具选对率、延迟或缓存成本的对照数据。「工具少就容易选」是经验判断,压短描述也应保留会影响选工具和填参数的信息。
能拿来做什么
- 给自己的 Node MCP 服务留一份基线,用宿主实际发送的工具定义跑审计,在 PR 里记录改动前后的总长度和同口径 token 估值。
- 如果 IDE 助手一次挂了多个 MCP 服务,先按服务核对实际发送的定义,再按常见任务缩小默认工具集,验证缩减后模型还能选到所需工具。
- 审查工具描述时,优先删重复文字,保留参数单位、有效范围和容易填错的约束。需要核算模型输入时,再用对应的 tokenizer 或请求用量数据校准。