用最小可复现样例横评 AI 工具
文章建议先固定一项具体任务和一份公开、非敏感的样本,再用相同输入比较多个 AI 工具。保留测试样例,便于在模型更新后复查边界场景和输出格式。
AI 深度解读
同一段提示词,给 Tool A 和 Tool B 各跑一次,再到 Slack 里挑一张最好看的截图,很容易选出一个赢家。可一旦提示词在中途改了,或者预览看着漂亮、导出的文件却没法编辑,这次比较就回答不了团队真正关心的问题。
作者建议把 AI 工具选型做成一个小型实验:固定输入,提前写好验收条件,保留多次运行的结果和失败记录。这样,同事能复跑你的比较,模型更新后也有一份基线可查。
先用一个真实任务固定比较条件
作者把这套最小测试材料叫作微型测试夹具(micro-fixture)。它只需要三样东西:一个具体任务、一份公开且不敏感的样本、一种明确的输出格式。比如让候选工具把同一份公开的会议转写整理成行动项,统一要求输出符合指定 JSON Schema 的结果。也可以约定 Markdown 标题,或要求交付可编辑的矢量文件。

这个做法借用了单元测试的思路。每个工具都收到相同的样本和任务要求,团队才能追查结果差异来自哪里。候选工具可以从 ewiki 这类按任务整理的索引中找,试跑时则要记录模型的确切版本、temperature 等设置和测试日期。原文没有给出具体模型版本或参数值,它强调的是把当次配置记下来。
验收要看团队实际接手的文件
图表工具的预览可能很好看,导出后却只剩一张低分辨率 PNG,连写错的标签都嵌在图里。要是团队需要接着维护图表,验收就应明确要求文字标签可编辑,并指定 .svg 或 Mermaid 等交付格式。拿到 .svg 后还要实际打开改一处标签,文件后缀只能说明格式,编辑动作才能验证需求。
摘要工具也一样。作者要求每条说法都带行内引用,指向原文中支持它的具体段落。验收时顺着引用点回去,检查原文是否真的支持那句话。这样,诸如「这份摘要看起来靠谱」的印象,才能落实到具体哪一条说法通过了核对。
同一份样本多跑几次,失败也要留下来
作者举了一个例子:同一个夹具跑 3 次,结果却给出 3 种差异很大的结构,这种波动就该写进报告。生产流程往往更看重输出能否稳定接入下游,10 次里偶尔有 1 次特别出彩,解决不了其余运行的交付问题。
失败记录要能回答两个问题。工具正常响应却无视 schema,或者漏掉关键标签,属于需求验收失败。碰到速率限制、504 超时或上游 API 异常,则属于服务临时故障。把失败输出和错误信息留下来,同事就能判断该查输出约束,还是该看服务可用性。
作者建议把样本、评估笔记和允许保存的输出提交到专用仓库,在 README 里写清验收条件,执行 git push 前清理 API 密钥、令牌和内部 URL。他把「同事克隆后 5 分钟内复跑」作为文档易用性的目标,原文没有提供计时结果。
我的判断
这套方法最有价值的地方,是把争论从「哪张截图更好看」移到了「交付物能不能进入工作流」。尤其是结构化输出和可编辑文件,团队可以直接检查。临时试用适合快速熟悉候选产品,固定样本则适合留下可复跑的选型依据。原文分享的是作者的实践经验,没有给出工具间的对照数据。3 次运行适合暴露明显波动,样本量还不足以估计长期失败率。
统一提示词也有适用范围。它衡量的是候选工具接入同一套流程时的表现。如果团队愿意为不同工具分别调提示词,那个比较还得把调试成本算进去。另一个现实限制是,有些产品界面只显示模型名称。拿不到确切版本时,可以记录界面显示的信息和测试日期,并把复现时的版本限制写进笔记。
能拿来做什么
- 给接入 Node 流程的摘要工具准备一份公开样本,把 JSON Schema 校验和引用核对写进同一份验收说明。
- 试用图表工具时,把导出文件放进团队实际使用的编辑器,尝试修改标签或渲染 Mermaid,再记录是否能继续维护。
- 把首次试跑的样本、设置和失败结果提交进评估仓库,模型更新后用同一份材料复跑,并分别记录输出问题和服务故障。