智能体会话越跑越慢,先查历史管理
作者将长会话延迟和 token 成本上升的问题定位到智能体运行框架:每次调用都发送完整历史,使上下文持续膨胀。文章提出按系统提示、用户输入、工具结果和助手回复分层管理,避免统一压缩或截断。
AI 深度解读
Agent 跑得越久越慢,未必是模型出了问题。作者在自建 Agent 运行框架时,遇到了上下文膨胀、工具反复重试、任务中断后无法接续三个坑,最后发现:这些问题都需要在模型外部解决。
这篇文章值得读的地方,是把「接通模型 API」和「让 Agent 持续可靠地工作」分开讨论。对于正在写 AI 编程助手、工具调用服务或长任务脚本的程序员,它提供了一组具体的检查项。不过,文中的代码更接近设计示意,离生产实现还有几步。
会话越来越慢,先检查每轮到底重发了什么
作者最初的实现很直接:每次调用模型,都提交完整对话历史。短任务没有明显问题,跑到几十轮后,延迟和 token 开销开始上升。同样的提示,在第 5 轮不到一秒响应,第 40 轮已经需要数秒。作者还描述,会话尾段每轮 token 成本接近翻倍,但没有交代统计口径,不能据此推导普遍的成本增长曲线。
问题在于,历史消息的价值和体积并不匹配。一次读取产生的 50,000 token 文件内容,可能只有几条结论值得保留,却会在后续请求中不断占用上下文。
作者提出三项配合使用的措施:
- 按类型管理消息。System prompt、用户输入、工具结果和助手回复的生命周期不同,不能用同一套删除规则。
- 超过 N 轮后摘要旧对话,保留结论,减少逐字保留的历史。
- 工具输出进入上下文时,默认只保留前 N 个 token,需要更多内容时再获取。
下面这段代码展示了如何压缩中间历史,并保护开头和最近消息:
def trim_context(messages, max_tokens=8000):
while estimate_tokens(messages) > max_tokens:
if len(messages) > 4:
# 压缩中间部分,保留开头和结尾
summary = summarize(messages[1:-2])
messages = [messages[0],
{"role": "user", "content": summary}] + messages[-2:]
else:
break
return messages
重点看 messages[1:-2]:第一条消息被假定为 System prompt,最后两条被视为当前任务状态,其余内容允许压缩。
作者报告,修改后上下文长度趋于稳定,延迟也下降了,但没有提供完整的前后对照数据。
代码还有一个实际边界:当消息只剩 4 条或更少时,即使仍超过 max_tokens=8000,循环也会退出。因此,这个函数表达了预算管理思路,却不能独立保证硬上限。正文提出的消息分层、工具输出截断,也没有在这段代码里完整实现。
上下文预算应该由程序执行,不能只在提示词里要求模型节省。
工具失败后,谁来决定还要不要重试
第二个故障更直观:某次长任务里,Agent 对同一个工具连续重试超过 10 次,最后只能人工终止。
工具返回错误,模型认为可以再试,框架又没有次数限制,于是相同参数反复触发相同错误。这里既有执行次数的问题,也有错误分类的问题。
网络超时可能是暂时故障,再试一次有机会成功;参数不符合 schema,则需要修正输入。继续发送相同参数,只是在重复支付失败成本。
作者用下面的代码限制尝试次数,并提前返回不可重试的错误:
def call_tool_with_retry(name, args, max_retries=3):
for i in range(max_retries):
result = call_tool(name, args)
if not result.is_error:
return result
if is_non_retryable(result.error):
return result
return ToolError(f"{name} failed {max_retries} times consecutively; try another approach")
需要看清 range(max_retries):虽然参数叫 max_retries=3,这里实际最多执行 3 次调用,包括第一次尝试。
错误消息也要足够具体。只返回「error」,模型没有修正依据;指出 start_date 必须使用 ISO 格式,才给得出下一步行动。参数错误通常应该引导模型改参数,耗尽重试次数则应该提示切换方法。
这段示例仍有一个缺口:计数只存在于一次函数执行内部。如果模型收到失败后,又发起一次相同调用,计数会重新开始。要阻止原文描述的跨轮死循环,还需要记录连续失败的调用,而不能仅依赖函数里的 for。
作者没有展开这部分。原文的方向成立,但示例代码不能覆盖所有重复调用路径。
任务能恢复,靠的是执行状态,不只是聊天记录
第三个坑发生在模型崩溃或请求超时之后:新会话不知道上次停在哪里,只能重新开始。
作者把恢复拆成三个环节。每轮结束后保存快照,启动时检查快照并让用户选择重开或恢复,恢复时再把已完成事项交代给模型。
最容易漏掉的是快照内容。
假设 Agent 已经写完两个文件,正在处理第三个文件。只保存聊天记录,不能保证恢复后跳过前两个操作。真正需要保存的是消息列表、工具执行记录和中间状态,包括哪些子任务完成、哪些产物已经落盘。
原文的 save_checkpoint(messages, state) 使用 json.dump 写入 checkpoint.json,load_checkpoint() 则通过 os.path.exists 检查文件,再用 json.load 读取。存储形式很简单,难点集中在 state 究竟装了什么。
聊天记录能够解释之前发生过什么,恢复点还必须说明接下来该从哪里继续。
作者也明确反对默认自动恢复,因为上次失败可能源自错误指令,继续执行未必合理。但这里没有展开写入中断、快照损坏,以及工具已执行、状态尚未保存时如何处理。这些都会影响生产环境里的恢复可靠性。
我的判断
文章最有价值的判断,是把 Agent 的稳定性责任放回运行框架。作者称之为 harness,可以理解为包在模型外面的执行程序,负责四件事:上下文管理、工具调用、错误恢复、状态持久化。
这比单纯调整提示词更接近问题发生的位置。模型可以判断下一步,但预算、执行次数和完成记录,需要有程序规则约束。
不过,这仍是一篇排障经验分享。延迟改善没有基准测试,重试次数设为 3 也没有对照实验;「保留第一条和最后两条消息」依赖特定消息结构,不能直接套到所有工具调用协议里。摘要是否漏掉约束,截断是否删掉关键报错,同样没有评估数据。
对于自建与框架的选择,作者建议学习时自己搭,生产环境优先成熟框架,并区分了从 OpenAI SDK 起步的自建方案、集成工具与上下文管理的 Codex-style frameworks,以及偏状态和多 Agent 协调的 Harness-style frameworks。但后两类没有给出明确产品和能力边界,不能当作严格选型分类。
框架能减少重复建设,最终仍要验证它是否真的处理了上述故障。
文章末尾提到,团队可以用统一路由层集中管理 endpoint、凭据和模型策略,并以 4sapi 为 API gateway 示例。这属于供应商接入边界,与上下文压缩、重试和恢复是不同职责。原文没有给出该产品的验证数据。
作者进一步认为,边界处理好后,GPT、Claude 或开源引擎就能成为可替换组件。作为架构目标,这很合理;但「只改一个设置即可换模型」仍有前提,原文没有说明不同模型接口与工具调用差异如何适配。
能拿来做什么
- 给自己的 AI 编程脚本记录每轮输入 token 估算、工具输出长度和请求耗时,先确认增长来自哪里,再决定摘要阈值和截断策略,不必直接照搬 8000。
- 在 Node 工具调用层区分超时与参数校验失败,并记录相同工具、相同参数的连续失败,覆盖模型跨轮重新发起调用的情况。
- 对会修改文件的长任务,保存已完成子任务、工具执行结果和产物路径;恢复前核对实际文件状态,避免仅凭聊天记录重复执行。
- 评估 Agent 框架时,实际跑一次超长工具输出、持续参数错误和中途中断,检查预算、重试和恢复行为是否符合预期。