8.0
热点
AI SCORE
技术实践2026-08-18 13:00
进化选择算法让LLM Agent harness超越微调
dev.to · AI#LLM Agent#进化算法#Harness优化
Editor brief · 编辑速览
DarwinX通过种群进化同时优化prompt和工具，GPT-5.6 Sol在Terminal-Bench 2.1达84.7%；纯harness升级可将基线从75.5%提升至83.2%，超越同档模型微调效果。AutoDesign在PosterBench超Claude Design 7.45分。
基于种群的开发生成式 prompt 与工具进化，如今已能在底层 LLM 保持冻结的状态下达到 SOTA Agent 性能。
直到最近，大多数性能提升仍来自扩展模型参数或针对特定任务数据微调；而 harness——prompt、工具和技能图谱——往往是手工精心打造，或在单条演化线上反复迭代优化，经常过拟合于狭隘的基准测试。
DarwinX 在冻结的 GPT-5.6 Sol 上将已验证的 Terminal-Bench 2.1 准确率推至 84.7%，属于中等投入。 "On a frozen GPT-5.6 Sol at medium effort, DarwinX scores 84.7%, at the frontier of the verified Terminal-Bench 2.1 leaderboard" [1]。
DarwinX 还让一个 baseline Agent 在 GPT-5.5 上从 75.5% 提升至 83.2%，采用严格的零容忍协议，证明了纯 harness 升级可以超越模型扩展带来的收益。 "On GPT-5.5, DarwinX lifts base Monet from 75.5% to 83.2% ( points) under the strict leaderboard protocol, in which every errored trial scores zero (§4.2)." [1]。
AutoDesign 在 PosterBench 上达到 78.32 分，比专有的 Claude Design 系统高出 7.45 分。 "under the matched Claude Code and Claude 4.8 configuration, AutoDesign scores 78.32, exceeding Claude Design by 7.45 points" [2]。
将学到的 DesignHarness 集成进来后，七个模型-Agent 配置的平均 PosterBench 性能从 54.99 一致提升至 67.39，增幅达 +12.4%。 "integrating the learned DesignHarness consistently improves performance, increasing the average PosterBench Score from 54.99 to 67.39 (+12.4%)" [2]。
SkillZip 在压缩技能图谱 3.46 倍的同时，最强 baseline 高出最多 12.2 分，保留了 99.2% 的依赖关系和 98.7% 的验证器可达性。 "SkillZip consistently outperforms the strongest baseline by up to 12.2 points, while achieving a 3.46 compression ratio with 99.2% dependency preservation and 98.7% verifier reachability." [3]。
DarwinX 的"保留-扩展"契约约束候选 harness 必须不在任何基准上回退，这限制了激进探索，使该方法依赖于可靠的任务验证器。 "DarwinX makes that obligation explicit: it searches the harness rather than whole‑agent code, admits a child only under a preserve‑and‑extend contract that bounds what a win may cost elsewhere." [1]。
AutoDesign 的评估仅限于论文到海报的合成任务；在无关领域的效果尚未得到验证。 "...meta‑harness optimizer guides a code agent to recursively improve harness based on rollout feedback." [2]。
SkillZip 的压缩依赖于可逆宏，且报告的收益仅限于技术和具身基准；对于百万量级技能库的扩展能力尚未得到论证。 "...SkillZip rewrites recurring contract‑valid motifs into reversible ported macros while preserving boundary signatures..." [3]。
如果演化的 harness 选择能在冻结 LLM 上与模型扩展相抗衡，那么默认的开发流程应该在投入更大模型或大规模微调之前，优先采用基于种群的 prompt、工具和技能进化，并且现有的 Agent 基准测试应该用演化后的 harness 作为新基线重新运行。
For further actions, you may consider blocking this person and/or reporting abuse