八篇文章拆解智能体运行框架的工程职责
文章梳理了智能体运行框架在工具调度、上下文压缩、故障恢复、持久化和规范校验中的职责,并以 Claude Code 的核心循环为例。选读还讨论了模型路由、读取内容和提示缓存如何影响编程智能体的成本。
AI 深度解读
一篇 dev.to 导读把 8 篇关于 Agent harness 的文章放在一起,问的是同一件事:模型提出下一步之后,谁负责控制成本、确认写入结果,以及证明任务真的完成了?这里的 harness 指围绕模型运行的那套系统,从调用循环、工具接口到任务状态和验收规则。
对用 AI 写代码的团队,最实用的是两道测试。一次部署请求超时,你能查到它到底有没有执行吗?换掉测试文件名和资料返回顺序,Agent 的高分还能保住吗?前者检验你敢不敢让它自动重试,后者检验你敢不敢信它的评测分数。
为什么五行循环会长到约 1,700 行
教科书里的 ReAct 循环用 5 行伪代码就能写完:模型决定调用工具,工具返回结果,模型再决定下一步。Claude Code 的 query.ts 约有 1,700 行。被收录的源码解读把它拆成五层,导读列出的例子包括每次 API 调用前的上下文压缩流程、模型还在流式输出时就开始执行工具,以及上下文溢出、触发限流后的恢复。每项工作都有自己的时机和状态,五行循环只交代了它们怎样串起来。
成本也受调用方式影响。一次会话轮次如果包含 18 个工具步骤,同一份上下文会随 19 次模型调用反复发送。切换到单价更低的模型时,还得考虑原有的提示词缓存能否继续命中。Accenture 的 Responsible AI 团队在预印本中模拟了一家有 10,000 个席位的企业,结果显示,兼顾缓存的模型路由可节省约 14%–21% 的模型开支。这个比例来自模拟,评估自己团队的账单时,需要结合调用链长度和缓存命中情况。
写操作超时后,重试凭什么安全
部署接口超时,可能是请求根本没执行,也可能是部署已经触发、响应还没回来。直接重试可能触发第二次部署,放弃则可能漏掉第一次。Limbo 沙箱论文用 9 个模型、3 套生产级 harness、2 种工具契约做了 25,930 个有评分的实验回合,研究「恰好一次」(exactly-once)应由哪一层保证。
关键在于能不能立即读回结果,并确认状态对应的就是这次操作。查得到,运行时就能据此决定是否重试。查不到,就得由工具 API 提供幂等键或状态查询,让重复请求指向同一笔操作,或者让调用方查清它的执行结果。
Pi 1.0 随附的 Pi Durable 把同一问题带到了进程退出之后。Slack 值班机器人和共享事故处理工作区需要跨服务部署、客户端掉线继续运行。原文把 Pi Durable 与 Temporal、Durable Objects、LangGraph 的检查点机制放在一起,追问两件事:进程终止后能恢复多少进度,恢复时会不会又执行一次写操作。会话可以恢复,写入仍需单独验证。
让 Agent 查得到状态,也让验收有证据
导读提到,Anthropic 的每日合并量从约 2,500 次涨到超过 30,000 次,随后换用内部版本控制系统。游戏开发者让 Agent 能直接操作游戏,OpenAI 则有仅由 Codex 开发的仓库。三件事的共同点是,Agent 需要能查询环境、复现操作、测量结果,并在运行中接受约束。对普通团队,更容易照搬的是让无头测试直接输出失败项和数值,供 Agent 读取和复查。
SpecHarness 把这个思路用在验收上。它将 SKILL.md、schema 和任务指令里的要求编译成可追溯到原文的义务,记入带版本的台账。Agent 提议变更,运行时检查后提交。比如,模型能解释「所有失败用例都要修复」,只能说明它读懂了要求。运行时还需要拿到相应的测试结果,才能判定这条要求是否满足。
评测涨分后,怎么知道能力真的变强了
Alibaba 的 Qwen-Planner-Agent 论文描述了一套闭环。团队用人工审核把关数据回流,用考虑能力水平的奖励机制做在线强化学习,再根据失败轨迹调整运行时的记忆、技能和工具。27B 模型在 MobilePA-Bench 上以综合分 77.05 排第一。论文把规划器和 harness 的共同演进视为一条可行路径,导读也明确说这套演进尚未实现自动化。
CHASE 研究的是另一种可能:优化器反复改提示词、记忆和控制代码,涨分可能来自识别文件命名、检索渠道的顺序,或单元备注的惯常位置。即便留出一批题目,训练题和测试题也可能共用这些规律。CHASE 加入 Challenger,在任务含义不变的前提下改变评测协议,再看原先的收益还剩多少。
我的判断
我最认可原作者推荐的第 3 和第 8 篇,因为它们各自给了一个能验证的问题。对于会发起部署的 Agent,通用重试中间件可以处理暂时故障,是否能安全重试仍取决于部署接口能否确认上次请求。对于评测,留出题目可以检查有没有记住题目,再改变文件名、资料顺序,可以检查系统是否依赖评测环境的惯例。
其他做法要看团队规模和任务风险。导读没有给出自建版本控制、无头测试或引入 SpecHarness 的团队对照数据,环境改造的收益更多是经验之谈。已有 CI 能提供明确验收证据时,可以先用现成的退出码和测试结果。跨流程的要求经常变更、又需要追溯到具体版本时,再考虑维护一套履约台账。27B 模型的榜单成绩也没有在这篇导读里被拆解到训练和运行时各自的贡献。
能拿来做什么
- 给 Node 部署工具补一个「请求超时但服务端已执行」的用例,用同一个幂等键重试,核对是否始终返回同一个部署记录。
- 统计一次 AI 编程任务里的模型调用次数、重复上下文和缓存命中情况,再比较中途换模型前后的实际成本。
- 给前端修复任务指定可复查的验收证据,例如无头测试的退出码和失败用例列表,让 CI 结果决定任务能否标记为完成。
- 保留原有评测的留出题,再做一轮语义不变的变体,重命名夹具并调整资料返回顺序,比较改动前后的得分。