展示用三个不同专家角色(validator 等)分别用 AI 审查同一份文档,每个角色基于自身规范给出独立评分与发现。该团队用此方法发现了内容工作流的一个关键规则漏洞。
如果你使用 AI 助手处理重要工作,可能已经注意到审查中的一个问题:刚刚写出内容的模型,并不适合判断其中遗漏了什么。让它“检查自己的工作”,往往只会把同一套推理再重复一遍,只是语气更加自信。
下面是一个具体的替代方案,来自我们项目内部的一次真实审查。
我们刚刚完成了三份运营文档——它们是规范项目内容、指标和监控工作的规格说明。看上去已经完成了。但我们没有凭印象直接接受,而是组织了一次 panel 审查:由三个不同的 persona 分别阅读同样的三份文档。每个 persona 都有自己的书面规格说明和审查视角,并分别给出带评分的发现以及整体置信度。它们只负责提出建议——最终决定仍由人来做。
这里的 persona 不是一种角色扮演,而是一份书面规格说明,其中包括角色、专业能力、明确边界和沟通模式,助手会在阅读任何内容之前先加载它。让三份不同的规格说明审视同一个产物,正是产生三种不同关注点的关键。
Fernand 是验证者。他的审查视角是:这个产物是否真正落实了标准中声明的要求?最重要的发现评分为 95。
我们有一条长期规则:除非工作流已经验证某个具体的 framework recipe 确实包含在当前公开下载内容中,否则面向公众的内容不得提及它。新构建的内容工作流并没有违反这条规则,只是根本没有实现这项检查。只有意图,却没有执行点。
如果你写软件,应该对这种情况很熟悉:策略写在 README 里,但 CI 中没有任何东西对它进行断言。修复方法是把这个 gate 直接放进工作流本身。
Cat 是编排者。她的审查视角是:整个流程能否从头到尾连贯运转?这项发现的评分为 82。
我们的每周可靠性审查会把自动化实际执行的内容与预期日程进行比较。然而,没有任何地方把这些预期记录下来。比较的一边保存在磁盘上,另一边则存在某个人的记忆里。因此,一项悄无声息地停止运行的定时任务,反而可能顺利通过审查——因为它根本不会出现,而它的缺席会被理解成“没有问题需要关注”。
修复方法是:在规划阶段写入预期文件,让检查过程核对两个产物,而不是拿一个产物去和某个人的回忆进行核对。
Elena 是标准审阅者。她的审查视角是:这是否符合 framework 自身的分类体系?下一个打开它的人能否理解?她发现的是一个分类问题,而不是机制问题。
这三份文档不属于我们标准中的任何现有类别——它们构成了一种全新的第四类——同时也缺少其他所有类别都具备的结构骨架。于是,我们为每份文档补齐了完整结构:许可证头部、索引、manifest,以及各自预先填充的经验教训部分。
其中没有任何一行是错误的。真正缺失的是对“这是什么文档?”这个问题的回答——而专注于机制的审查并不会抬起头去寻找这个答案。
三个发现,三种形态:一条没有执行点的规则、一项其中一边只存在于记忆中的检查,以及一份没有所属类别的文档。每位审查者都发现了另外两位没有发现的问题——当每个人都在寻找不同的东西时,这正是你应该期待的结果。
这就是为什么应该采用 panel,而不只是依赖一位细致的审查者。全面细致的审查,往往只会反复提供同一种关注。彼此独立的规格说明会带来彼此独立的盲点——而这正是它的意义所在。
你不需要使用我们的 framework,也可以尝试这种方法。写下三份简短的审查者 brief,每份只分配一项任务,并设置一个明确边界,然后让它们分别审查同一份草稿。为发现的问题评分,以便衡量其权重,同时把最终决定权留在自己手里。
如果你以后想采用完整的 framework,它所增加的是那些枯燥但重要的部分:这些 brief 会成为可跨项目复用的书面规格说明,而不必每次重新输入;评分范围固定为 0–100,使不同审查者的发现可以相互比较;审查流程则成为一个可以通过名称调用的 recipe,而不是一种必须靠自己记住的习惯。上面介绍的技术就是完整的核心思想。framework 则是它的制度化版本——即使你把它忘了一个月,它仍然能够继续运转。
面向 Claude Cowork 的 CRAFT 目前处于 beta 阶段,我们对此有明确说明。persona 本质上是结构化指令与审查纪律——AI 仍然可能犯错。采用带有置信度评分的 panel,是为了在这些错误发布之前发现更多问题,而最终决定权仍然掌握在你手中。
如果你想使用这个 framework:beta 期间可以免费、无门槛地获取;它运行在 Claude Cowork 上,因此你的 Claude 方案需要能够使用 Cowork。除此之外,CRAFT 不会增加任何费用、账户要求或额外门槛。
包含完整审查记录的全文:https://craftframework.ai/three-specialists-read-the-same-documents-each-found-a-different-problem/
下载:https://craftframework.ai/craft-downloads/
如需采取进一步措施,你可以考虑屏蔽此人和/或举报滥用行为。