Hermit开源：用任务反馈优化智能体外围能力

让 Codex、Claude Code 更适合某类任务，除了改提示词、写技能文件、微调模型，现在又多了一条路线：训练一个放在 Agent 外面的适配层。Infini-AI-Lab 发布的 Hermit，就在尝试把这件事做成统一框架。

它最有价值的设计，是保持模型和 Agent 运行框架不变，只迭代外部适配器。不过，效果需要分开看：部分基准成绩明显提高，也有适配器低于原始基线，而且多数结果来自团队自报的单次运行。

不改模型和框架，还能训练什么？

Hermit 是 Python 框架，采用 Apache-2.0 许可证，自身没有模型参数。首个版本 v0.1.0 于 2026 年 10 月 25 日发布，CMU 博士后 Haizhong Zheng 在 10 月 27 日宣布了这个项目。

它训练的是 harness adapter，也就是外部运行适配层。这里的 harness，可以理解为围绕模型组织工具调用、任务执行和反馈的那套程序。LoRA 等模型适配方法调整模型，而 Hermit 调整的是既有 Agent 外面的可学习内容。

这个适配器不一定只是一段提示词。它可以包含指令、技能、记忆、工具、可执行代码，以及多个 Agent 的协作逻辑，甚至可以是整个代码仓库。适配器规范负责划定哪些内容允许修改，以及修改后如何检查。

Hermit 把可以学习的部分放到外层，模型和原有 harness 都保持冻结。

团队给出的理由很实际：一些 harness 没有开放源码；直接修改开源框架，也可能破坏原先调好的组件配合；外部适配器则有机会在兼容的模型和框架之间迁移。最后一点仍有前提，原文没有提供跨模型迁移的对照实验。

自动迭代提示词，和它有什么区别？

Hermit 提供的是一条类似强化学习的迭代流程，而不是直接更新模型权重。

Trainer 先让执行 Agent 带着当前适配器完成一批任务，judge 给结果评分。Evolver 再读取执行轨迹和反馈，提出新版适配器。Trainer 检查新版是否符合模板，通过后提交为下一版本。

这里真正决定学习方向的，是任务、评分和允许修改的范围。评分只能识别答案是否正确，适配器就未必会学会控制执行成本；反馈覆盖不到的缺陷，也可能在迭代中留下来。

每个版本都保存在 git tree 中，可以检查、回滚和交付。学习程序还可以放进沙箱运行，但这需要 Linux 和 bubblewrap。

首发内置五种演化方法：GEPA、SkillOpt、MetaWorld Model（MWM）、Harness²、Continual Harness。ACE、ReHarness 尚未上线，也可以自行实现 Evolver。

安装命令是 pip install hermit-harness。离线 Quick Start 不需要 GPU、模型账户或数据集，但实际训练与评估需要模型后端，不能把离线示例的条件理解为真实运行成本。

CLI 包含 check、train、eval、deploy、convert，模型标识使用 <backend>/<model id>。支持的后端包括 Fireworks、OpenAI、Anthropic、DeepSeek，以及本地的 vLLM、SGLang、Ollama。

hermit deploy 为 Codex、Claude Code 或 Pi 写出工作区；hermit convert 则把适配器导出为 Codex、Claude Code、Pi 或 Hermes 的原生插件。原文还给出一个 Lean 协作适配器，让 5 个 Codex Agent 共同证明一道定理，但没有报告它相对单 Agent 的收益。

跑分确实提高了，但哪些数字不能直接比？

原文列出的实验都使用 GLM 5.3 Flash，成绩来自仓库示例 README，由团队自行报告。

OfficeQA 包含 172 道美国财政部公报问题，采用精确匹配评分：

方法	准确率
无适配器	0.541
初始技能	0.576
GEPA	0.580
SkillOpt	0.600
Continual Harness	0.634
Harness²	0.651

这里有一个影响解读的区别：GEPA、SkillOpt 在 50 道题上训练，测试时冻结；Continual Harness、Harness² 则在测试集流式经过一次的过程中继续学习。前者考察训练后的固定能力，后者还考察边做边学的能力，不能直接按同一训练条件排名。

团队另行报告 Harness² 相对其参考运行提高 7.6 个百分点，95% 区间为 +1.7 到 +13.4。这个参考运行不能直接等同于表中的无适配器行，原文没有把两者关系说清楚。

CL-Bench 的数据库探索任务中，MWM 准确率为 0.795，上下文学习基线为 0.580；但仅使用提示词的适配器只有 0.470。可被利用策略的扑克任务中，MWM 每手赢得 3.08 个大盲注，基线为 2.51。

外部适配器可以改善成绩，但加上适配器并不保证变好。

ServeLearnBench 则连续输入 624 个零售支持请求，背后的规则隐藏且会变化。MWM 在隐藏策略测试中得分 45.3，榜单上最佳学习方法 CH 为 28.7，已知策略的 oracle 为 89.2。MWM 超过了该学习基线，但距离直接获知规则的参照仍有明显差距。

我的判断

我更认可 Hermit 对实验流程的整理：把可修改内容、反馈、检查和版本管理连起来，比手工反复改技能文件更容易追踪一次改动究竟带来了什么。

不过，它的成绩还不足以证明能普遍改善日常编程。现有实验覆盖文档问答、数据库探索、扑克和客服策略学习，没有前端项目或 Node 工程的对照数据。多数结果还是单次运行，原文也没给出训练耗时、token 消耗和迁移效果。

与其他优化器比较时，同样需要克制。GEPA 可优化提示词、代码等文本参数，原文列出的成绩是 GPT-4.1 Mini 在 AIME 2025 上从 46.6% 提升到 56.6%；ACE 优化上下文 playbook，报告 AppWorld 提升 10.6%；Agent Lightning 涉及提示词和模型权重，可使用 RL、SFT。这些测试对象不同，不能拿数字排出统一名次。

对于任务少、规则稳定的团队，人工维护提示词和技能文件仍然直接。Hermit 更适合有重复任务、可靠评分和持续迭代需求的场合；至于是否更省钱、更稳定，当前材料还没有给出答案。

能拿来做什么

• 如果已经在 Codex 或 Claude Code 中维护技能文件，可以先整理一组重复任务和验收标准，再考虑用 Hermit 自动迭代这些内容。
• 做前端或 Node 场景试验时，应先补自己的评估集，同时比较无适配器、人工维护版本和训练版本，不能直接套用 OfficeQA 的结论。
• 比较不同演化方法时，要区分测试前冻结与测试中继续学习两种条件，并记录正确率之外的调用成本和耗时。
• 准备把训练结果交给团队使用时，可以利用 git 版本检查具体改动，再通过 hermit deploy 或 hermit convert 交付已经验证的版本。