提示词实验:五个智能体未胜过单体
作者实验中,五智能体流水线每条提示词耗时 15 至 23 分钟、花费 3.81 至 5.52 美元,盲评得分略低于单智能体。独立红队组合评分最高,但单体自查也找出了全部 108 个植入缺陷;文章强调身份验证、例外审批和指令注入处置等规则完整性。
AI 深度解读
让五个 agent 合作写一条 prompt,效果会比一个更好吗?作者试了一轮,结果是:五个 agent 更贵、更慢,评分还略低。最后留下的方案,只有一个 skill 文件。
这次实验更有用的发现是:prompt 容易失效,往往因为业务规则没交代完整,而不只是措辞不够好。先问清身份核验、例外审批和恶意输入怎么处理,再起草、自查,比增加分工更值得优先尝试。不过,这些结果还不足以证明单 agent 在所有任务上都更好。
五个 agent 为什么没赢过一个
作者先测试了五 agent 流水线:每条 prompt 花费 3.81 至 5.52 USD,耗时 15 至 23 分钟。交给不知道方案来源的模型裁判评分,结果是:
| 方案 | 得分 |
|---|---|
| 五个 agent | 7.75/10 |
| 单个 agent | 7.83/10 |
| 写作者加独立红队 | 8.12/10 |
独立红队负责攻击草稿,寻找规则漏洞。它的评分最高,但在另一项测试中,作者预先植入了 108 个缺陷,让写作者检查自己的草稿,也全部找到了,与独立红队相同。因此,最终方案移除了独立红队。
负责联网查找最新指导的研究 agent 也被删掉了。不带它时,69% 的会话通过测试;带上它是 64%,移除后的成本降至一半或更低。
这轮实验支持的是先精简流程,再证明新增角色的价值。
但别把几个评分差距看得太重。原文说明,五 agent 设计对每种请求只跑了一次,没有给出足够的重复实验来证明这些方案存在稳定的优劣关系。
真正留下来的,是先问规则再写草稿
最终的 skill 按一个短流程工作:先提出几个带默认选项的问题,整理简短规格,再写草稿;随后分别从目标模型、粗心用户和恶意用户的角度检查草稿,修复发现的问题。
它关心的不是「语气再专业一点」,而是这些更容易影响执行结果的缺口:
- 客户需要怎样完成身份核验。
- 遇到例外时由谁批准。
- 输入要求忽略已有指令时应该怎么办。
这些问题会决定模型能做什么、遇到边界该停在哪里。没有写清楚,模型就可能自行补规则,甚至补出业务方不想要的要求。
精简后的单条 prompt 成本是 0.39 至 0.45 USD,耗时 71 至 104 秒,包含提问环节。作者据此称,按 API 价格计算,可以在两分钟内、不到半美元拿到可用的 prompt。
在 Claude 插件环境中,原文给出的安装命令是:
/plugin marketplace add HighMarck17/prompt-engineer
/plugin install prompt-engineer@prompt-engineer
第一行添加 marketplace,第二行安装插件,顺序要保留。原文还说明,claude.ai 用户可使用 latest release 中的 zip,项目采用 MIT 许可。
收益主要来自信息不完整的请求
作者用两个场景比较 skill 与不使用它的 Claude Opus 5.5:带订单工具的客服机器人,以及意大利语编辑助手。测试采用模拟用户的 agent 会话,覆盖 17 个任务场景,每个写作者在每个案例中生成 6 条 prompt。
只给 skill 一句话请求时,它相对拿到完整备注的 Claude 高出 18.6 个百分点,95% 区间为 6.9 至 30.4。主要原因是 Claude 生成的规则要求客户额外提供一份业务方并不需要的身份证明。如果明确要求 Claude 先提问,skill 的优势缩小到 6.3 个百分点,且差异不显著。
对植入的指令攻击,skill 生成的 prompt 没有让 agent 服从恶意指令;Claude 生成的 prompt 则分别在两组测试的 48 次中失守 9 次、46 次中失守 5 次。
另一组测试使用没看过 skill 的 agent 编写请求,覆盖十二类需求。当输入只有一到三句话时,skill 的通过率为 92%,未被要求先提问的 Claude 为 49%;输入完整时,两者分别为 96% 和 97%。
最明显的收益,是把简短需求补成可执行规则。
我的判断
我认同作者把注意力从「怎样写得像好 prompt」移到「还有哪些规则没说清」。尤其是客服和工具调用场景,多加一句身份核验要求,就可能改变用户完成任务的路径。
但这仍是一项范围有限的实验。评分者是模型;两个 agent 案例也参与了 skill 的开发;回答澄清问题的业务负责人是模拟的,真实用户未必回答得同样完整。原文指向 docs/evaluation.md,提供的方法说明没有在这里展开。
相比直接让 Claude「先澄清再起草」,这个 skill 是否仍有稳定优势,目前证据不充分:6.3 个百分点的差异不显著,完整需求下也没有领先。它更像把一套有效的提问和检查习惯固化下来,而不是证明某种复杂的 prompt 技术取得突破。
能拿来做什么
- 为带工具调用的客服助手写 prompt 时,先列清核验条件、例外审批人和恶意输入处理方式,再调整表达。
- 收到一两句话的 AI 需求时,可以先要求模型提出带默认选项的澄清问题,确认规则后再生成草稿。
- 在增加研究员、评审员或独立红队之前,先比较单 agent 自查的结果,并同时记录通过率、成本和耗时。
- 验证 prompt 时,把正常请求、粗心输入和恶意指令都放进测试;不要把这次有限测试中的零失守,当成安全保证。