用统一验收测试比较两款编程代理

“哪个 AI 编程 Agent 更好？”这类问题，通常得到的都是凭感觉的回答。我想用数字说话，于是给 Claude Code 和 OpenAI Codex 提供了相同的初始仓库、同一份 396 词的 prompt，以及同样的 20 项自动化检查，并记录了全过程。

测试应用是 TaskPilot：一个全栈任务管理器，包含 FastAPI 后端、React 前端、登录、按用户隔离的数据、搜索、筛选、仪表盘和移动端布局。

以下规则在两次运行开始前就已确定：

• 使用相同的初始 commit（26 个文件）和相同的 prompt（396 词，运行前已记录 hash）。
• 首次构建最多用时 45 分钟。
• 最多允许 2 轮修复，每轮 10 分钟。修复 prompt 只列出哪些检查未通过。
• 不允许人工修改代码。人工唯一的操作是在每次会话结束后提交工作区。
• 通过抛硬币决定谁先运行，结果是 Codex。
• 包含 20 项浏览器和 API 检查的评估程序，在两个 Agent 运行前就已冻结。

这些检查覆盖的是实际应用里会出问题的地方，而不只是“能不能编译”：

• 身份验证（C01–C04）：有效凭据能够登录；凭据错误时给出有用的提示；受保护的 API 路由拒绝匿名请求；退出登录后，会话确实失效，重放旧 cookies 必须失败。
• 数据隔离（C05–C06）：用户 A 无法列出、读取、更新或删除用户 B 的任务，即使直接调用 API 也不行。
• 任务操作（C07–C11）：创建、编辑、标记完成，以及确认后删除。UI 和 API 都必须拒绝纯空白标题和超长标题。
• 搜索与筛选（C12–C13）：对标题和描述进行不区分大小写的搜索；筛选条件可以组合，也可以重置。
• 仪表盘（C14–C15）：统计数量与数据库一致，包括逾期判断的边界情况：昨天、今天、未来，以及未设置日期。
• 持久化与错误处理（C16–C17）：刷新页面和重启后端后，数据仍然保留；空状态和 API 失败时的提示合理。
• 移动端（C18）：在 390 × 844 的尺寸下，能够登录、创建任务、搜索和退出登录，且没有横向滚动。
• 键盘操作与校验（C19–C20）：仅使用键盘就能完成核心流程；无效的日期、状态或优先级值会被拒绝。

两次运行都使用了订阅，因此并没有实际按次收取费用。文中的美元金额，是按照测试当天各模型公布的 API 价格，估算相同 token 用量对应的费用。

真正拉开差距的地方

Claude Code 第一次就做对了。首次构建便通过了全部 20 项检查，无须修复。它还检查了自己的工作：运行到大约 4 分钟时，39 项后端测试中有 2 项失败。它表示正在修复测试数据中的 bug 和空筛选参数，到 4 分 26 秒时，全部 39 项测试通过。临近结束时，它截取了桌面端和移动端的截图，并在完成前修改了一处 CSS，修复移动端布局。

Codex 更快、成本更低，但遗漏了移动端问题。它的首次构建只有 C18 未通过：在 390 px 宽度下，核心流程的界面无法完整容纳，需要横向滚动。收到失败检查后，它用 41 秒完成了修复。运行过程中，它也发现了自己的一处 bug：一项后端测试期望 "game" 能匹配 "gaming"，随后它修正了这项测试。

可用性评审（两个构建结果冻结后评分，满分 5 分）：

那么，你该用哪个？

如果你希望首次构建就做对，连移动端和无障碍细节也一并处理好，而且宁愿多花一些 token，也不想再审查一轮修复，那么可以使用 Claude Code。

如果速度和成本很重要，而且你有完善的测试，那么可以使用 Codex。一项失败检查，加上 41 秒的修复，就让它同样达到了 20/20，而估算成本还不到 Claude Code 的一半。

无论选哪个，真正发挥作用的都是这 20 项检查。没有它们，“看起来已经做完了”就会掩盖其中一个应用的移动端布局 bug，你也根本看不到身份验证和数据隔离检查究竟是通过还是失败。把任务交给 Agent 之前，先写好检查。

这只是每个工具各进行一次的受控运行，不能证明某个 Agent 总能胜出。AI Agent 在不同运行中的表现会有波动。Claude Code 的结果来自一次重新开始的重试：此前两次尝试都因用量限制而中断，因此选用了这次结果。初始仓库相同，prompt 相同，规则也相同。每次会话都记录在视频中，包含时间戳、日志和最终应用。

你做过自己的对比测试吗？我想在评论区和你交流结果。

本文在 AI 辅助下起草。所有数字均来自已记录的测试日志和冻结后的评估结果。

如需采取进一步措施，你可以考虑屏蔽此人和／或举报滥用行为。