引入大模型前，先做可衡量的基线

给工单分流加上 LLM 之前，先确认现有办法能做到什么。dev.to 的一篇文章提出：先用规则、搜索或流程改进建立可衡量的基线，再让模型处理同一组代表性样本。比较时，除了分类准确性，还要看危险错误、人工复核率、延迟和单次成本。

目前能确认什么

文章以工单分流为例，讨论如何判断引入大模型是否划算。这里的基线（Baseline），就是作为比较起点的方案。它可以是规则匹配、搜索，也可以是调整流程后得到的处理结果，不一定需要另一个模型。

同一组代表性样本是比较的基础。如果规则处理的是简单工单，模型处理的是另一批复杂工单，两边的结果就很难直接比较。

评估也不能只看分对了多少。危险错误关注的是分错之后的后果；人工复核率反映仍有多少工作需要人接手；延迟和单次成本则关系到方案能否进入日常流程。这些指标回答的是不同问题，不能用一个准确率替代。

我的判断

模型需要证明的，是相对基线的增益。

对程序员来说，这会改变任务顺序：先整理样本、定义错误类型、记录现有方案的结果，再接入模型。否则，即使演示看起来流畅，也难以判断它究竟解决了多少问题。

比如，分类更准，但危险错误增加，不能仅凭准确率就决定上线；人工复核率没有降低，也不能直接宣称节省了人工。

目前的公开信息没有说清样本如何选取、危险错误如何定义，也没有给出具体实验结果。模型增益达到什么程度才足以覆盖成本与运维负担，同样没有明确答案。现有信息支持这套比较方法，但不足以支持某个模型或方案的选型结论。