Agent工具膨胀到200个时的检索与延迟Schema策略

概览

你需要了解的是，工具数量是累积增加的，而非设计出来的。每次集成都会新增 10 到 40 个工具，而且没有人会删除任何一个。三个独立的成本——Token 消耗、选择准确率和延迟——它们并不会对同一个修复方案产生响应。Prompt 缓存只解决 Token 消耗问题，模型仍然会读取每个工具的定义，所以准确率纹丝不动。检索（Retrieval）控制广度：将工具描述和调用示例向量化存储，按任务召回 top-k，并将少量必备工具固定。延迟模式（Deferred schemas）控制深度：先加载名称和一行摘要，仅在需要时才加载完整的参数结构。添加工具是一场迁移，应该在上线前重新运行选择评估，就像对待 Schema 变更一样。

工具如何悄然膨胀到 200 个

这套算术并不复杂，而这恰恰是它坑到团队的原因……

我们是一个让程序员分享、保持更新和提升职业发展的地方。