两次 Agent 实测:澄清回答影响交付质量
作者在 OpenSpec 2.1.0 与 Superpowers 7.0.2 上两次运行同一桥接流程,以统一 Node API 错误响应为任务,并用 Agent 未见过的八项 HTTP 检查评分。结果显示桥接仍能运行,而人工澄清回答影响了最终得分。
AI 深度解读
OpenSpec 负责规划变更,Superpowers 负责约束 AI 怎么实现,两者接起来,能不能让模糊需求自动变成可靠代码?作者用同一个 Node API 连跑两次,结论是:桥接流程能跑通,验收结果却取决于谁在回答问题、审批方案。
这组实验值得看,因为它把「流程完整」和「结果正确」拆开了。知道规则的人能纠偏,只会点头的人也能走完整套流程,但错误会一起留下来。
同一句需求,为什么走出了不同结果
测试项目的接口各自返回不同的错误结构,仓库文档明确写着:已发布的移动端会把 body.error 当字符串读取。给 Agent 的需求只有一句:把混乱的 API 错误响应统一起来。
作者在 2026 年 11 月 17 日,用 OpenSpec 2.1.0、Superpowers 7.0.2 和社区 schema superpowers-bridge 跑了两轮。执行环境是无头运行的 Claude Code 2.1.326,控制模型为 Claude Opus 5.5;每条人工消息都通过一次 claude -p 调用,在同一会话中续接。
验收使用 9 月写好的 8 项隐藏 HTTP 检查,Agent 从未见过。两轮的区别在审核者:
- A 轮知道规格,只回答被问到的问题;方案违反规格才纠正,遗漏的要求不会主动补充。
- B 轮只知道那句需求,统一回答「没有偏好,你决定」,批准所有方案。
结果,A 轮追平了直接提供明确规格的单提示方案,但成本约为后者的 27 倍。B 轮比直接给模糊提示还少通过一项。明确规格的单提示方案拿到 8/8,用时约一分钟,成本约 $0.23。
增加审批步骤,不会自动增加正确答案。
真正需要审核的是决定,不只是提问
A 轮中,Agent 问了为什么改、错误体长什么样、如何实现,却没有询问状态码。它自行决定归档项目和校验错误继续返回 400,并把这些决定列进聊天里的「Calls I made」。
审核者发现规格要求分别为 409 和 422,才进行了纠正。这份主动决定清单,比多问几个问题更有用。
但聊天摘要也漏了一项。设计文件里还有这条:
- `details` (array, optional) — only for validation: `[{ field, message }]`.
这条设计决定了错误体是否统一。注意 optional 和 only for validation:只有校验错误才带 details,顶层字段就会出现两种组合。
审核者只看摘要便批准了设计,直到下一轮读生成的 spec.md 才发现。作者承认这是审核疏漏,并保留了记录。此前三次模糊单提示运行,也都没通过「所有错误体顶层键一致」这一检查。
B 轮则批准了 { error, code }、校验错误额外带 details、状态码保持原样,以及把回显 X-Request-Id 排除在范围之外。最后,顶层键一致性和请求 ID 两项检查失败。
两轮都读到了移动端契约,也都保留了字符串类型的 error。差异集中在仓库没有明确写出的规则:A 轮由人纠正,B 轮由 Agent 定夺。
桥接仍能用,但旧说明不能照着执行
桥接 README 的基线是 OpenSpec 1.4.1 和 Superpowers v5.1.0,它自己也声明这只是历史快照,不保证端到端兼容。到了本次版本,schema 仍然有效:openspec schema validate superpowers-bridge 能通过,引用的 Superpowers skill 也都存在,设计和计划进入了变更目录,而非 docs/superpowers/。
使用方式却变了。OpenSpec 2.0 移除了 /opsx:* 命令,相同步骤现在通过 skill 执行:
/openspec-ff-change、/openspec-apply-change、/openspec-verify-change、/openspec-continue-change、/openspec-archive-change。
其中 ff、continue、verify 不在默认 profile,需要先选择扩展 profile。
另一个坑在执行路径。Superpowers 提供子 Agent 驱动和 Native 两种方式,桥接 schema 只覆盖前者。B 轮接受了 Agent 推荐的 Native,验证、复盘、归档便被跳过,最后由作者手动启动;A 轮却没有出现这个选项。
校验 schema 通过,只能证明结构可接受,不能证明每条执行路径都能走完。
我的判断
我认可作者对审核责任的判断:流程能保存决定、暴露分歧,却不能替团队定义业务规则。已知要求直接写进规格,通常比等 Agent 问到再回答更容易核对。
但这不是对两种工具效果的普遍定论。实验只有两轮、一个项目、一个控制模型;审核者是按书面协议操作的作者本人,A 轮的答案依据也正是单提示方案拿到的规格。约 27 倍成本是这组实验的结果,不能直接套到日常项目。
流程也提供了额外价值。两轮末尾的整分支审查都发现了项目原有的对象键问题:GET /projects/__proto__/tasks 返回 200,PATCH /tasks/__proto__ 会写入整个进程共享的 Object.prototype。作者回放六份单提示 Opus 修改,其中五份仍保留该问题。
这个发现支持保留整分支审查,但不足以证明必须采用整套桥接流程;原文没有提供「明确规格加独立审查」的对照。
此外,两轮都留下了头脑风暴、提案、设计、规格、任务、计划、验证和复盘八类产物。需要追溯决策的团队可能愿意承担这笔成本,但前提是有人真的阅读它们。
能拿来做什么
- 整理 Node API 错误响应前,先写清顶层字段、
error类型、状态码和X-Request-Id行为,再让 Agent 实现,并用 HTTP 检查验收。 - 审批 AI 方案时,要求列出自行决定的事项,同时打开设计文件和
spec.md,重点检查可选字段及范围排除项。 - 使用这组桥接版本时,先选扩展 profile,并核对执行路径是否覆盖验证、复盘和归档。
- 即使采用单提示实现,也可以保留整分支审查,检查普通对象作为键值表时对
__proto__等特殊键的处理。