将小型决策模型接入工单与路由服务

Gev 系列文章进入业务接入阶段：作者展示了如何通过 Question 和 GevPredictor，把这个 2.7 亿参数的决策模型接进工单分流、策略路由和风险评分服务。它面向选择与评分，而非自由文本生成；作者同时给出了延迟、微调显存和领域适配的参考信息。

目前能确认什么

Gev 基于 Google 的 T5Gemma 2。示例通过 Question 定义问题、候选团队及职责描述，再由 GevPredictor 读取告警日志，返回选项和置信度。作者称，修改选项描述即可在推理时调整判定依据，无须重新训练。

它把接入重点从解析生成文本，转向定义候选项和判断标准。

作者报告，单 GPU 决策延迟为 45 毫秒，完整微调约需 14 GiB 显存。但节选没有交代 GPU 型号、输入长度、并发和测试口径，这两个数字只能作为资源量级参考。

针对专有业务，作者还介绍了用 Gemma 4 生成合成数据、交换选项顺序以减轻位置偏差、过滤矛盾样本等做法。微调时则混入通用数据，并打乱选项，减少模型记住固定位置的倾向。

我的判断

对程序员最直接的价值，是固定选项任务有了另一种接口形态。工单归属已经限定在几个团队时，直接返回选项可以减少自由文本解析的维护工作；但团队职责有重叠时，描述怎么写仍然需要业务人员明确规则。

更关键的是置信度。作者明确提醒，跨领域后，原有的置信度设置可能让模型显得过于自信。

返回 0.95 的置信度，不能直接当作自动分流正确率达到 95%。

真正接入自动派单前，需要用目标业务的标注样本检查置信度与实际正确率的关系，再确定转人工阈值。现有节选尚不能确认校准后的效果，也没交代规则冲突、信息不足时如何处理。这些会直接影响服务能自动处理多少工单。