同一模型换执行框架，结果为何不同

同一个模型，套上不同的 Agent 运行框架，做事结果可能差很多。Aetox 作者用相同模型、每项三轮、预先编写的隐藏测试做比较，想验证影响结果的不只是模型，还有上下文怎么送、工具怎么用、任务完成前怎么验收。

这份自测最有参考价值的地方，是作者把优势、失利和 token 开销都摆了出来。对程序员来说，它提供了一套检查 AI 编程工具的思路，但还不足以证明哪套框架全面领先。

Harness 到底改了什么

Harness 可以理解成模型周围负责组织上下文、调用工具和执行检查的一层程序。Aetox 作者把差异归为三件事。

第一件是控制每轮送给模型的信息。Aetox 不会一开始就塞入所有技能正文和工具 schema，而是先给名称目录，模型需要时再打开具体内容。作者称，这让 50 个技能的初始开销接近 5 个；新增 MCP server 时，先增加名称，不直接带入整块工具定义。

这里省的是提前加载的信息。任务真正用到技能时，正文仍然需要进入上下文，不能把它理解成技能数量再多也没有成本。

第二件是让 Agent 真正执行操作。它能驱动带有独立标签页和配置的浏览器，直接填写表单；完成编码任务前，还会运行项目自己的测试命令。对前端开发而言，这比只生成一段修改说明更接近完整交付。不过，运行测试不等于测试通过，也不等于覆盖了全部需求，原文没有展开失败后的处理流程。

第三件是记忆。Aetox 把用户资料、机器信息、各房间笔记、每日工作记录和重复操作路径存在普通 .md 文件里，用户可以查看、修改或删除。只有某种做法跨不同日期重复出现，系统才把它保留下来，避免凭一次对话就认定用户习惯。

安全成绩领先，为什么不能直接归功于框架

作者称，比较使用相同模型，每项运行三轮，各框架均未应用用户自定义设置；编码任务的起始文件、提示词、隐藏测试和各轮结果都已公开。

但这份输入没有包含作者提到的完整成绩表，因此无法核对所有套件、对手和具体分数。能确认的是作者主动解释了两项结果。

CWEval 的领先来自默认启用的安全技能。关闭这个技能后，Aetox 就回到了其他工具的大致区间。

同模型比较控制住了模型变量，却没有消除默认技能的差异。

这项结果仍然有价值：默认配置能否把安全要求带进工作流，会影响用户拿到的结果。但它支持的是「这项技能有效」，不能直接推出上下文组织、记忆或工具调度都更强。

SWE-bench 则是作者承认的失利：Aetox 三轮中通过两轮，四个参评框架里最好的通过三轮。作者说，这类套件的轮次波动约为 1.5 到 2.5 分，几分差距可能只能算接近，但他明确没有把这次落后解释成平局。

Token 多了，账单会按比例上涨吗

部分长编码任务里，Aetox 的总输入量达到其他框架的 1.1 到 8.5 倍，其中约 91% 是缓存输入。作者称，缓存输入的计费便宜数倍；按未缓存输入加输出这一口径比较，差异是 1.1 到 2.1 倍。

这组数字提醒我们，不能只盯总 token 数。但原文没有列出各供应商的缓存单价和完整费用计算，所以也不能把后一组倍数直接当成所有模型上的账单倍数。

作者还表示，执行普通指令、添加 MCP server、批量安装技能等日常任务没有表现出同样的高开销，并建议按任务选择合适的模型来降低成本。这部分没有在给定文本中提供明细，应当视为作者的经验描述。

使用门槛也很明确：当前版本是 1.10.31，仅支持 Windows，屏幕、浏览器和电脑操作层都基于 Win32。软件免费，但运行需要供应商密钥，或通过 Ollama、LM Studio 使用本地模型。

作者列出的接入范围包括 OpenAI、Anthropic、Gemini、DeepSeek、Qwen、Groq、xAI、Mistral、OpenRouter、GitHub Copilot 和本地服务，并称可以在对话中切换模型、携带上下文。这是作者的兼容性主张，原文没有逐项给出验证结果。

我的判断

我更认可它展示的工程取舍：技能按需加载、记忆可编辑、结束前运行测试，这些都能变成检查 AI 编程工具的具体标准。

和启动时一次性加载全部技能、工具定义的做法相比，按需加载有明确的节省方向；但检索是否准确、打开技能是否增加交互轮次，原文没有对照数据。文件记忆也提高了可检查性，却没有自动解决记忆过期和相互冲突的问题。

另外，「不加用户设置」比较适合观察默认体验，却不能代表各工具经过同等调优后的上限。CWEval 的安全技能恰好说明，默认工作流本身就可能决定成绩。

因此，这份材料适合用来设计自己的验证任务。三轮自测、缺失的完整表格和 Windows 限制，都让它距离通用选型结论还有一段距离。

能拿来做什么

• 比较 AI 编程工具时，固定模型、任务和起始代码，提前写好验收测试，并保存每轮结果，避免只挑一次成功案例。
• 给前端或 Node 项目配置 Agent 时，把项目已有的测试命令写入完成条件，同时要求它报告执行结果和未通过项。
• 接入大量技能或 MCP 工具前，检查工具是否支持按需加载，并分别记录总输入、缓存输入、未缓存输入和输出。
• 如果团队主要使用 Windows，可以用一项真实编码任务试用 Aetox 1.10.31；把已有工具作为对照，比较通过率、人工介入次数和实际费用。