Agent 工具调用中的隐形成本：缓存断点与费用优化

导读

团队交付了第一个真正可用的 Agent 之后的几周，会迎来一种特别的冲击。Demo 成本低廉，生产环境不然。没有换更大的模型，单次任务的成本却悄然翻了几倍。第一反应是怪推理，第一反应通常都错了。在一个工具密集的循环里，真正的开销来自模型被允许思考之前必须重新读取的所有内容——每轮循环有两样东西会被反复读取。其一是工具定义（Tool Definitions）：Agent 可能调用的每个工具的完整 Schema，不管它有没有真的调用。其二是工具结果（Tool Results）：之前某个工具返回的每一行数据和载荷，都躺在对话历史里。前者随集成面的扩大而膨胀，后者随任务的长度而增长。2026 年上半年，两大……

原文完整内容需阅读 AI Tech Connect →

如需进一步操作，可考虑屏蔽此人或举报滥用。

我们是一个供程序员分享、保持最新和拓展职业发展的地方。