基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
编程提效2026-11-17 08:11

用任务日志检验智能体编排的改造收益

dev.to · AI#智能体#工作流#工程复盘
Editor brief · 编辑速览

作者以规划、低价模型编码、只读审查和独立工作树构建任务分发流程,并对照成熟工具筛选改进项。回查日志后发现,计划引入的自动反馈重试机制只能覆盖 19 次返工中的 1 次。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

给 AI 编程流水线加自动重试,看起来总能省事。可 agent-dispatch 的作者翻完日志发现,19 次人工返工里,只有 1 次能被他准备照搬的机制接住。更多问题来自任务说明、审查漏检,以及沙箱看不到的真实环境。

这篇文章有价值的地方,是作者先拿历史任务验证需求,再拿同一批难题比较模型。结果既推翻了部分自动化计划,也暴露了一个更难判断的问题:便宜模型完成了任务,连审查都通过了,却可能根本没发现任务要求互相矛盾。

成熟工具的功能,未必是你的当前瓶颈

作者自建的 agent-dispatch,由 Claude 规划并编写工单,便宜模型在 macOS 沙箱里编码,各自使用独立的 git worktree 和分支;Claude Sonnet 只读审查 diff,最后由作者在本地合并。它是一个约 14,000 行、只用 Python 标准库的单文件程序,自 10 月 11 日以来有 124 次提交,自 11 月 1 日起处理了 64 个工单。

作者参考了几类成熟工具。Composio 的 Agent Orchestrator 最接近这套流程:每个 agent 一个 worktree,配有仪表盘,并通过 YAML 中的 reactions 配置响应动作。CI 失败或收到审查意见后,自动把信息交回 agent,重试 N 次,之后才通知人。

OpenRouter 的两个 beta 服务端工具则只提供 API 调用:openrouter:subagent 让强模型把常规子任务交给便宜模型,openrouter:advisor 让便宜模型在执行中向强模型征求一次单轮意见。它们都不负责仓库、测试或分支管理。

Claude Code 支持子 agent 在独立 worktree 使用不同模型,OpenCode 通过配置里的 agent-to-model 映射实现类似选择。Codex cloud、Copilot coding agent、Jules 的托管流程更完整,但作者指出,它们各自受限于供应商模型。

自建工具的优势则是接入任意供应商 CLI,包括 Xiaomi MiMo、通过 Codex CLI 使用的 GPT-6.1 Sol、DeepSeek,并提供模型价格表、每月美元额度、故障回退和历史任务回放。

作者列出四项可借鉴能力:审查阻塞后自动返工、强模型顾问、自包含工单检查、逐单成本账本。最后一项其实已在 10 月 31 日实现,stats 已能按 worker 和项目统计费用,他自己忘了。11 月 1 日以来总费用为 $35.74,其中 GPT-6.1 Sol 的 49 个工单花了 $32.24。

先查已有能力,再决定补什么,也是这次盘点的一部分。

19 次人工返工,为什么只有 1 次适合自动处理

自 11 月 1 日起,审查日志里有 50 次通过、1 次阻塞。Sol 从 11 月 3 日成为默认 worker,在 43 个已接受工单中,36 个首次通过,约为 84%。按照这组记录,审查阻塞后的自动反应几乎没有触发机会。

作者继续检查执行记录:14 次停滞重试,全是 MiMo 流式输出中途挂住;19 次人工返工里,只有 1 次属于自动机制可以处理的真实审查阻塞。

其中 5 次失败来自真实环境。沙箱刻意禁止联网和访问真实数据库,worker 就无法看到 Wikidata 为「開封市」返回繁体中文标签,也无法提前知道 Natural Earth 河流文件里某条要素的 geometry 为空。把相同意见再发一次,并不能补上这些观察条件。

另有 4 次执行停在「可以这样改吗」。乍看适合找 advisor,实际都是授权请求,例如能否修改某条断言。强模型可以分析修改是否合理,却不能代替任务所有者授予权限。

自动重试能接住哪类失败,取决于失败原因,而不是重试按钮有多方便。

作者仍然实现了 reactions,但缩小为每个工单自动返工一次,之后等待人工处理。Sol 一轮完成实现,worker 还被要求在报告里反驳错误审查意见,避免机械迎合 reviewer。这个准备后来确实派上了用场,因为更便宜的模型带回了更多审查阻塞。

工单写不清楚,换模型也会反复返工

10 月 29 日,作者检查了 10 个需要返工的工单,给首轮审查中的 61 条「必须修复」问题分类。55 条,也就是 90%,来自工单缺漏,而非 worker 忽视要求。

这里的「自包含工单」,就是执行者只看当前工单,也能知道背景、约束和交付要求,不需要猜测它从未见过的聊天内容。

作者新增的 lint 只发警告,检查背景章节缺失,以及 as discussed 这类指向外部对话的措辞。在另一组自 11 月 1 日起的 67 个实现工单中,它标记了 6 个:4 个确实缺少背景,另外 2 个是误报。一个用 mentioned above 指代同一工单前文,另一个正是 lint 自己的工单,其中引用该短语作为示例。原文没有进一步解释 64 与 67 两个统计口径的差异。

更有意思的是,作者提交 reactions 和 lint 工单前,还用只读 Sonnet 做了一轮「falsifier」检查,让它对照实际仓库挑工单的毛病。一次约 35 秒,费用约 $0.07。

两个工单的初稿各被找出 7 个缺陷。其中一个 CRITICAL 问题是:reaction hook 位于一个 try/except 内部,返工过程一旦崩溃,就会被包装成「review unavailable」。修完以后,第二轮检查又各找出 7 个问题。

这些数字不能证明 lint 已经降低返工率。它们证明的是:检查引用措辞只能覆盖很小一部分缺漏,执行流程与异常处理仍需要结合仓库审查。

同一批难题回放,比价格页更能说明成本

10 月 31 日,作者选了 5 个曾让 MiMo 花费 3 至 7 轮的工单,交给其他模型重做。4 个可执行任务的结果是:

  • GPT-6.1 Sol 使用 medium effort,3 个首次通过,每单约 17 分钟、$0.8。
  • GPT-6.1 Terra 使用 xhigh,2 个首次通过,每单约 26 分钟、$1.0,token 用量是 Sol 的 3 至 4 倍。

第 5 个工单要求自相矛盾,两者都在几分钟内停下并指出问题。作者因此选择 Sol,尽管排行榜曾让他认为 Terra 更划算。

随后,他用同样 5 个任务测试 OpenAI 直连的 GPT-6 Luna,以及通过 OpenRouter 使用的 GLM-5.3、Tencent Hy4。每条模型通道使用独立 API key 和硬额度,方便准确归账,也限制超支。这轮涉及四个模型,总费用约 $13。

GLM 和 Hy4 的页面单价虽低,实际 token 消耗大、缓存命中少,完成一单的费用达到 Sol 水平或更高,两把 key 都在测试结束前耗尽额度。

Luna 完成了全部 5 个工单,费用约为 Sol 的三分之一,全程无人介入。2 个任务检查失败后自动重试,另有 2 个被审查阻塞,经新 reactions 自动返工后通过。但它耗时是 Sol 的 3 至 4 倍,而且对那个矛盾工单直接做出了实现,reviewer 也放行了。

实现通过审查,不等于任务中的矛盾已经解决。

耗时比较还有条件差异:新测试四路并行,审查排队;Sol 当时两路并行,新结果的分钟数因此有所膨胀。

advisor 的样本更少。额度耗尽前成功启动的 4 次顾问通道运行中,只有一次 Hy4 主动咨询,问题是对 3 条模糊规格的理解是否成立,全天顾问费用为 $0.095。作者明确说,一次调用不能算结论。他考虑改由调度器在交付前或第二次失败后触发咨询,而非只告诉 worker「卡住就问」。

我的判断

我更认可这篇的评估方法,而不是据此认定某个模型最划算。历史难题能保留团队自己的约束,独立 key 与硬额度也能让试验成本可控。相比只看单价和排行榜,这些记录更接近实际采购依据。

但 5 个回放任务规模很小,且偏向曾经失败的难题;不同并发条件也影响耗时。Sol、Terra、Luna 的排名都只能作为作者当前任务集上的经验。工单缺漏占 90% 同样来自特定返工样本,不能推广成所有团队的比例。

Luna 的结果尤其需要谨慎:它证明低成本通道能配合自动返工运转,却没有证明交付可靠性相当。共同放过矛盾要求,是 worker 与 reviewer 的联合盲点。继续增加重试次数,未必能改善判断。

能拿来做什么

  • 给 AI 编程返工记录原因,至少区分规格缺漏、执行故障、审查阻塞、环境差异和授权等待,再选择需要自动化的环节。
  • 为前端或 Node 项目保留几份真实难工单,用相同验收条件比较模型,并同时记录费用、耗时、人工介入与错误交付。
  • 把背景、相关文件和验收要求直接写进工单,检查「之前讨论过」这类依赖聊天上下文的表述,再让只读审查对照仓库找缺漏。
  • 为低价模型设置独立额度和有限重试,并在验收中保留对规格矛盾的人工判断,不能只看检查是否通过。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
AI 自测为何漏错:双智能体盲测实验
下一篇
Go 后端如何实现穿搭识别与商品检索

资讯速览

dev.to · AI · 2026-11-17 08:11

AI 评分 8.0 / 10

相关标签

#智能体#工作流#工程复盘

继续阅读

  • 按操作可逆性设计 AI 邮箱审批流程
  • AI 自测为何漏错:双智能体盲测实验
  • Go 后端如何实现穿搭识别与商品检索
  • LLM 修复 SQLite 更新引发的日志故障
  • 把视频剪辑转成编程智能体可审阅的任务