基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
简历
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
编程提效2026-11-05 17:08

提示词实验:五个智能体未胜过单体

dev.to · AI#提示词#多智能体#评测
Editor brief · 编辑速览

作者实验中,五智能体流水线每条提示词耗时 15 至 23 分钟、花费 3.81 至 5.52 美元,盲评得分略低于单智能体。独立红队组合评分最高,但单体自查也找出了全部 108 个植入缺陷;文章强调身份验证、例外审批和指令注入处置等规则完整性。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

让五个 agent 合作写一条 prompt,效果会比一个更好吗?作者试了一轮,结果是:五个 agent 更贵、更慢,评分还略低。最后留下的方案,只有一个 skill 文件。

这次实验更有用的发现是:prompt 容易失效,往往因为业务规则没交代完整,而不只是措辞不够好。先问清身份核验、例外审批和恶意输入怎么处理,再起草、自查,比增加分工更值得优先尝试。不过,这些结果还不足以证明单 agent 在所有任务上都更好。

五个 agent 为什么没赢过一个

作者先测试了五 agent 流水线:每条 prompt 花费 3.81 至 5.52 USD,耗时 15 至 23 分钟。交给不知道方案来源的模型裁判评分,结果是:

方案 得分
五个 agent 7.75/10
单个 agent 7.83/10
写作者加独立红队 8.12/10

独立红队负责攻击草稿,寻找规则漏洞。它的评分最高,但在另一项测试中,作者预先植入了 108 个缺陷,让写作者检查自己的草稿,也全部找到了,与独立红队相同。因此,最终方案移除了独立红队。

负责联网查找最新指导的研究 agent 也被删掉了。不带它时,69% 的会话通过测试;带上它是 64%,移除后的成本降至一半或更低。

这轮实验支持的是先精简流程,再证明新增角色的价值。

但别把几个评分差距看得太重。原文说明,五 agent 设计对每种请求只跑了一次,没有给出足够的重复实验来证明这些方案存在稳定的优劣关系。

真正留下来的,是先问规则再写草稿

最终的 skill 按一个短流程工作:先提出几个带默认选项的问题,整理简短规格,再写草稿;随后分别从目标模型、粗心用户和恶意用户的角度检查草稿,修复发现的问题。

它关心的不是「语气再专业一点」,而是这些更容易影响执行结果的缺口:

  • 客户需要怎样完成身份核验。
  • 遇到例外时由谁批准。
  • 输入要求忽略已有指令时应该怎么办。

这些问题会决定模型能做什么、遇到边界该停在哪里。没有写清楚,模型就可能自行补规则,甚至补出业务方不想要的要求。

精简后的单条 prompt 成本是 0.39 至 0.45 USD,耗时 71 至 104 秒,包含提问环节。作者据此称,按 API 价格计算,可以在两分钟内、不到半美元拿到可用的 prompt。

在 Claude 插件环境中,原文给出的安装命令是:

/plugin marketplace add HighMarck17/prompt-engineer
/plugin install prompt-engineer@prompt-engineer

第一行添加 marketplace,第二行安装插件,顺序要保留。原文还说明,claude.ai 用户可使用 latest release 中的 zip,项目采用 MIT 许可。

收益主要来自信息不完整的请求

作者用两个场景比较 skill 与不使用它的 Claude Opus 5.5:带订单工具的客服机器人,以及意大利语编辑助手。测试采用模拟用户的 agent 会话,覆盖 17 个任务场景,每个写作者在每个案例中生成 6 条 prompt。

只给 skill 一句话请求时,它相对拿到完整备注的 Claude 高出 18.6 个百分点,95% 区间为 6.9 至 30.4。主要原因是 Claude 生成的规则要求客户额外提供一份业务方并不需要的身份证明。如果明确要求 Claude 先提问,skill 的优势缩小到 6.3 个百分点,且差异不显著。

对植入的指令攻击,skill 生成的 prompt 没有让 agent 服从恶意指令;Claude 生成的 prompt 则分别在两组测试的 48 次中失守 9 次、46 次中失守 5 次。

另一组测试使用没看过 skill 的 agent 编写请求,覆盖十二类需求。当输入只有一到三句话时,skill 的通过率为 92%,未被要求先提问的 Claude 为 49%;输入完整时,两者分别为 96% 和 97%。

最明显的收益,是把简短需求补成可执行规则。

我的判断

我认同作者把注意力从「怎样写得像好 prompt」移到「还有哪些规则没说清」。尤其是客服和工具调用场景,多加一句身份核验要求,就可能改变用户完成任务的路径。

但这仍是一项范围有限的实验。评分者是模型;两个 agent 案例也参与了 skill 的开发;回答澄清问题的业务负责人是模拟的,真实用户未必回答得同样完整。原文指向 docs/evaluation.md,提供的方法说明没有在这里展开。

相比直接让 Claude「先澄清再起草」,这个 skill 是否仍有稳定优势,目前证据不充分:6.3 个百分点的差异不显著,完整需求下也没有领先。它更像把一套有效的提问和检查习惯固化下来,而不是证明某种复杂的 prompt 技术取得突破。

能拿来做什么

  • 为带工具调用的客服助手写 prompt 时,先列清核验条件、例外审批人和恶意输入处理方式,再调整表达。
  • 收到一两句话的 AI 需求时,可以先要求模型提出带默认选项的澄清问题,确认规则后再生成草稿。
  • 在增加研究员、评审员或独立红队之前,先比较单 agent 自查的结果,并同时记录通过率、成本和耗时。
  • 验证 prompt 时,把正常请求、粗心输入和恶意指令都放进测试;不要把这次有限测试中的零失守,当成安全保证。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
用 Git 状态摘要减少编程智能体重复读库
下一篇
让编程智能体先估算规模再动手

资讯速览

dev.to · AI · 2026-11-05 17:08

AI 评分 8.0 / 10

相关标签

#提示词#多智能体#评测

继续阅读

  • AI 视频服务如何约束生成与处理退款
  • 用 Git 状态摘要减少编程智能体重复读库
  • 让编程智能体先估算规模再动手
  • 先拦住新增违规,再让 Agent 清理旧账
  • Lambda 可直接跑 HTTP 服务,单环境并发达128