让智能体把一次纠错保存到下个会话
教程用可复跑的脚本演示 WorkSwarm 如何从日元换算失败中更新技能,经审批后保存修正,使新会话首次调用即成功。作者报告在 WorkSwarm v0.2.7 和 GPT-5.5 上连续三次复跑通过。
AI 深度解读
AI Agent 第一次把美元换成日元时,漏传了 --decimals 0。它读到报错,补上参数,完成了任务。但如果修正只留在对话里,下次开新会话,还可能为同一个错误再跑一遍工具。
WorkSwarm 的 Skill Self-Evolution 会把这次教训写进技能目录。作者在 WorkSwarm v0.2.7 上用 gpt-5.5 连跑三轮,三轮的新会话都在第一次换算时带上了正确参数。这个实验最值得看的是,一条经验该怎么写,才能让 Agent 提前避开失败。
一次成功重试,为什么还要记下来
测试用的 currency-converter 技能很小。SKILL.md 的 YAML 文件头包含 name 和 description,正文告诉 Agent 用 python scripts/convert.py <amount> <FROM> <TO> 调用脚本。脚本从 open.er-api.com 获取实时汇率,接口无需 API key。它还接收 --decimals,默认值为 2,但技能说明漏掉了这个参数。
按 ISO 4217,JPY 的小数位数是 0。当脚本算出 157982.13 JPY,它会以非零状态退出,并在错误里给出补救办法。下面这段对照日志记录了 Agent 如何从失败里恢复。
--- CONTROL: fresh session, skill as shipped (SKILL.md never mentions --decimals)
you> Load the currency-converter skill with skill_tool, then use it to convert 1000 USD to Japanese yen.
agent> skill_tool: {"skill_name": "currency-converter"}
-> ok
agent> bash: python scripts/convert.py 1000 USD JPY
-> FAILED: error: 157982.13 JPY has a fractional part, but JPY has 0 decimal places under ISO 4217. Re-run with --decimals 0.
agent> bash: python scripts/convert.py 1000 USD JPY --decimals 0
-> ok
看第二条 bash 调用,--decimals 0 是 Agent 读完错误之后才加上的。最终答案可以完全正确,执行过程仍然多花了一次工具调用。只验收最终回复,就会漏掉这类问题。
给 /evolve 的目标,决定它记住补救还是预防
作者在出问题的同一个会话里发送 /evolve <skill> <intent>。测试脚本的每次无界面调用都启动独立进程,而评审只能看到当前这次调用的执行轨迹,所以脚本把原始错误和成功命令从日志里复制到 intent。开头还加了一个验收目标:把经验存进技能的 description,让下次第一次调用 convert.py 就成功。
这句话改变了评审写出的规则。早期版本只给报错和修复命令,三轮里有两轮存下的是「遇到小数位错误后,用 --decimals 0 重试」。新会话照着做,先失败一次,再补参数。加上首次成功的目标后,正式验证的三轮都存下了预防性规则:只要目标币种按 ISO 4217 使用 0 位小数,第一次调用就加 --decimals 0。
在 v0.2.7 的单 Agent 配置里,interface_deep.py::_build_skill_evolution_rail 使用 signal_trigger=False 和 review_trigger=True。工具错误不会累积到某个阈值后自动启动进化。文档还提到,长会话每经过 5 次符合条件的迭代会触发一次自审,作者的脚本只验证了 /evolve 这条路径。命令需要在 Agent 模式 agent.work.normal 中运行,fast 和 code 模式会拒绝执行。
经验写到了哪里,新会话怎么用到它
/evolve 流程涉及 prepare_skill_evolution 和 evolve_skill_experiences,其中 evolve_review_task 负责评审并提出经验。react.evolution.auto_save 默认为 false,写盘前会弹出审批卡,提供 Allow Once、Always Allow 和 Reject。测试脚本用 allow_once 模拟单次批准。
经验补丁支持 append、merge、replace 和 skip,目标可以是 description、body 或 script。三轮正式验证都选择向 description 的 Instructions 节追加经验。批准后的记录存进 evolutions.json,详情写入 evolution/instructions.md,SKILL.md 末尾则追加生成的 Experience Index。作者逐轮确认,索引上方手写的内容保持字节级一致。经验跟着技能目录走,复制目录就能带走这些记录。
description 之所以重要,是因为这类经验会全文进入新会话的系统提示词。body 类经验在提示词里只出现一条简短索引。新经验初始分为 0.60,评分按效果 0.5、使用情况 0.3、新鲜度 0.2 加权,供 /evolve_simplify 精简列表时排序。是否写盘由审批决定。整个过程改动的是技能目录和提供给 Agent 的上下文,模型权重保持原样。
作者换了进程和会话 ID,发出完全相同的请求。下面的日志展示了新会话如何使用保存的经验。
--- AFTER: NEW session, identical prompt
you> Load the currency-converter skill with skill_tool, then use it to convert 1000 USD to Japanese yen.
agent> skill_tool: {"skill_name": "currency-converter"}
-> ok
agent> skill_tool: {"skill_name": "currency-converter", "relative_file_path": "evolution/instructions.md"}
-> ok
agent> bash: python scripts/convert.py 1000 USD JPY --decimals 0
-> ok
agent says> 1000 USD is **157,982 JPY**.
...
验收看的是唯一一条 bash 调用:第一次调用 convert.py 就传了 --decimals 0,并且执行成功。脚本每轮共做 11 项检查,第 8 到 10 项分别核对新会话 ID、首次调用成功、全程未触发小数错误,第 11 项检查临时目录和产物里是否出现 API key。./prove --repeat 3 共跑 9 个 Agent 轮次,6 个换算轮次均未用到兜底重跑。
我的判断
这个实验验证了一个具体结果:经显式触发和批准后,写入技能目录的经验能改变新会话的第一次工具调用。前后两次给了同一个任务,验收依据又是调用事件、审批记录和磁盘文件,所以能区分「第一次就做对」和「重试后答对」。作者也给了一个有价值的早期对照:仅保存事后补救策略,确实可能保留那一次失败。
覆盖面仍然很小。三轮都在同一个模型、同一个 WorkSwarm 版本上测试 1000 USD 转 JPY。经验写的是零小数位币种通则,作者没有实测 KRW,也没有验证定期自审或 Web UI 的 Skill Index、Skill Graph。「任何能打印精确报错的技能都能用这一模式」仍是经验判断,原文没有跨技能对照数据。
如果团队维护 convert.py,按目标币种决定默认精度,可以直接覆盖脚本的所有调用方。手工补写 SKILL.md 也能把规则交给 Agent。WorkSwarm 在这里多提供了一条工作流,让评审从执行记录中拟出规则,并由人决定是否保存。原文没有比较这些做法的维护成本。按作者的环境,每轮约 2 分钟、365k 输入 token,系统提示词本身约 120k token。对已经明确的参数规则,是否值得跑完整流程,要看团队是否也需要验证经验的提取和复用。
能拿来做什么
- 给 Agent 常用的 Node CLI 或仓库脚本补齐可执行的错误信息。用非零退出码表示失败,在错误里写明是哪个输入触发了约束,以及应该传什么参数。
- 用 WorkSwarm 验证自己的技能时,打开
react.evolution.skill_evolution,在 Agent 模式运行,并保留react.evolution.auto_save: false。写/evolve时把「新会话首次调用应如何成功」放在开头,再附上实际报错和成功命令。 - 把首次工具调用纳入回归验证。用新会话重发同一请求,检查命令参数和退出状态。复现原实验可在带 bash 的 Linux 或 macOS 上使用 Python
3.11、3.12或3.13,配置能访问gpt-5.5的OPENAI_API_KEY,按教程固定workswarm==0.2.7后运行./prove --repeat 3。失败时先查看proof-out/repeat-N/下的transcript.md。