基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
编程提效2026-11-17 17:33

两次 Agent 实测:澄清回答影响交付质量

dev.to · AI#AI编程#需求澄清#工作流
Editor brief · 编辑速览

作者在 OpenSpec 2.1.0 与 Superpowers 7.0.2 上两次运行同一桥接流程,以统一 Node API 错误响应为任务,并用 Agent 未见过的八项 HTTP 检查评分。结果显示桥接仍能运行,而人工澄清回答影响了最终得分。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

OpenSpec 负责规划变更,Superpowers 负责约束 AI 怎么实现,两者接起来,能不能让模糊需求自动变成可靠代码?作者用同一个 Node API 连跑两次,结论是:桥接流程能跑通,验收结果却取决于谁在回答问题、审批方案。

这组实验值得看,因为它把「流程完整」和「结果正确」拆开了。知道规则的人能纠偏,只会点头的人也能走完整套流程,但错误会一起留下来。

同一句需求,为什么走出了不同结果

测试项目的接口各自返回不同的错误结构,仓库文档明确写着:已发布的移动端会把 body.error 当字符串读取。给 Agent 的需求只有一句:把混乱的 API 错误响应统一起来。

作者在 2026 年 11 月 17 日,用 OpenSpec 2.1.0、Superpowers 7.0.2 和社区 schema superpowers-bridge 跑了两轮。执行环境是无头运行的 Claude Code 2.1.326,控制模型为 Claude Opus 5.5;每条人工消息都通过一次 claude -p 调用,在同一会话中续接。

验收使用 9 月写好的 8 项隐藏 HTTP 检查,Agent 从未见过。两轮的区别在审核者:

  • A 轮知道规格,只回答被问到的问题;方案违反规格才纠正,遗漏的要求不会主动补充。
  • B 轮只知道那句需求,统一回答「没有偏好,你决定」,批准所有方案。

结果,A 轮追平了直接提供明确规格的单提示方案,但成本约为后者的 27 倍。B 轮比直接给模糊提示还少通过一项。明确规格的单提示方案拿到 8/8,用时约一分钟,成本约 $0.23。

增加审批步骤,不会自动增加正确答案。

真正需要审核的是决定,不只是提问

A 轮中,Agent 问了为什么改、错误体长什么样、如何实现,却没有询问状态码。它自行决定归档项目和校验错误继续返回 400,并把这些决定列进聊天里的「Calls I made」。

审核者发现规格要求分别为 409 和 422,才进行了纠正。这份主动决定清单,比多问几个问题更有用。

但聊天摘要也漏了一项。设计文件里还有这条:

- `details` (array, optional) — only for validation: `[{ field, message }]`.

这条设计决定了错误体是否统一。注意 optional 和 only for validation:只有校验错误才带 details,顶层字段就会出现两种组合。

审核者只看摘要便批准了设计,直到下一轮读生成的 spec.md 才发现。作者承认这是审核疏漏,并保留了记录。此前三次模糊单提示运行,也都没通过「所有错误体顶层键一致」这一检查。

B 轮则批准了 { error, code }、校验错误额外带 details、状态码保持原样,以及把回显 X-Request-Id 排除在范围之外。最后,顶层键一致性和请求 ID 两项检查失败。

两轮都读到了移动端契约,也都保留了字符串类型的 error。差异集中在仓库没有明确写出的规则:A 轮由人纠正,B 轮由 Agent 定夺。

桥接仍能用,但旧说明不能照着执行

桥接 README 的基线是 OpenSpec 1.4.1 和 Superpowers v5.1.0,它自己也声明这只是历史快照,不保证端到端兼容。到了本次版本,schema 仍然有效:openspec schema validate superpowers-bridge 能通过,引用的 Superpowers skill 也都存在,设计和计划进入了变更目录,而非 docs/superpowers/。

使用方式却变了。OpenSpec 2.0 移除了 /opsx:* 命令,相同步骤现在通过 skill 执行:

/openspec-ff-change、/openspec-apply-change、/openspec-verify-change、/openspec-continue-change、/openspec-archive-change。

其中 ff、continue、verify 不在默认 profile,需要先选择扩展 profile。

另一个坑在执行路径。Superpowers 提供子 Agent 驱动和 Native 两种方式,桥接 schema 只覆盖前者。B 轮接受了 Agent 推荐的 Native,验证、复盘、归档便被跳过,最后由作者手动启动;A 轮却没有出现这个选项。

校验 schema 通过,只能证明结构可接受,不能证明每条执行路径都能走完。

我的判断

我认可作者对审核责任的判断:流程能保存决定、暴露分歧,却不能替团队定义业务规则。已知要求直接写进规格,通常比等 Agent 问到再回答更容易核对。

但这不是对两种工具效果的普遍定论。实验只有两轮、一个项目、一个控制模型;审核者是按书面协议操作的作者本人,A 轮的答案依据也正是单提示方案拿到的规格。约 27 倍成本是这组实验的结果,不能直接套到日常项目。

流程也提供了额外价值。两轮末尾的整分支审查都发现了项目原有的对象键问题:GET /projects/__proto__/tasks 返回 200,PATCH /tasks/__proto__ 会写入整个进程共享的 Object.prototype。作者回放六份单提示 Opus 修改,其中五份仍保留该问题。

这个发现支持保留整分支审查,但不足以证明必须采用整套桥接流程;原文没有提供「明确规格加独立审查」的对照。

此外,两轮都留下了头脑风暴、提案、设计、规格、任务、计划、验证和复盘八类产物。需要追溯决策的团队可能愿意承担这笔成本,但前提是有人真的阅读它们。

能拿来做什么

  • 整理 Node API 错误响应前,先写清顶层字段、error 类型、状态码和 X-Request-Id 行为,再让 Agent 实现,并用 HTTP 检查验收。
  • 审批 AI 方案时,要求列出自行决定的事项,同时打开设计文件和 spec.md,重点检查可选字段及范围排除项。
  • 使用这组桥接版本时,先选扩展 profile,并核对执行路径是否覆盖验证、复盘和归档。
  • 即使采用单提示实现,也可以保留整分支审查,检查普通对象作为键值表时对 __proto__ 等特殊键的处理。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
六次线上排障揭示 AI 首诊误区
下一篇
隔离共享状态,避免多个编程 Agent 串扰

资讯速览

dev.to · AI · 2026-11-17 17:33

AI 评分 8.0 / 10

相关标签

#AI编程#需求澄清#工作流

继续阅读

  • 按任务结果核算 Agent 的真实成本
  • 六次线上排障揭示 AI 首诊误区
  • 隔离共享状态,避免多个编程 Agent 串扰
  • Liquid AI 新模型直接输出决策概率
  • 40GB 虚拟显卡上的 vLLM 调优记录