Spring AI 路由实践:拆分分类与回答
文章结合 Spring AI 示例,将请求分类与专用提示词处理拆成两个阶段。重点讨论路由键匹配、异常分类兜底、路由测试及适用边界。
AI 深度解读
同一个客服 Prompt 既要判断用户在问什么,又要遵守账单、技术、账号和产品各自的答复规范。改两条退款指引,就得顺手确认登录问题还有没有答偏。Spring AI 的 Routing Workflow 把这两件事拆成两次模型调用:先选类别,再用对应的 Prompt 回答。
这套拆法最直接的收益是好测。答复出错时,你能分别查分类和答复规则。代价也很明确:两次调用要串行,而且分类一旦选错,第二步就会沿着错误的方向答下去。
先分类,才能单独测出哪一步错了
原文用客服工单举例,定义了 billing、technical、account、product 四条路由。示例跑了三张工单:登录问题交给账号安全,意外小额扣费交给账单支持,数据导出问题交给产品支持。这三个例子展示了请求如何流转,原文没有给分类准确率。
拆开的价值在于,每条路由可以规定自己的交付标准。账单答复要解释费用差异,给出下一步和预计时间。技术答复要给出可执行的排障步骤,必要时补充系统要求、临时绕行方案和升级渠道。分类器只负责判断哪个团队接手,也就可以单独给它一组标了正确路由的工单,看看它具体把哪些类别混在了一起。
示例还让各路由使用固定开头,例如 Billing Support Response:。断言前缀可以帮你发现调用接错或答复格式漂移。判断工单是否去了正确的团队,还得看标注的预期路由。判断退款解释是否正确,则要单独检查答复内容。
Spring AI 怎么把模型输出变成路由键
示例位于 spring-ai-examples 的 agentic-patterns/routing-workflow,主类是 com.example.agentic.RoutingWorkflow,构造时传入 ChatClient。分类时,determineRoute 用 String.format 把候选路由名和输入填进 Prompt,让模型先给 reasoning,再给 selection。随后调用 entity(RoutingResponse.class),把回复转成 RoutingResponse(String reasoning, String selection)。应用拿到的是带类型的记录,省去了手写 JSON 解析的工作。
下面这段代码展示了分类结果如何决定第二次调用使用哪个 Prompt。
public String route(String input, Map<String, String> routes) {
Assert.notNull(input, "Input text cannot be null");
Assert.notEmpty(routes, "Routes map cannot be null or empty");
String routeKey = determineRoute(input, routes.keySet());
String selectedPrompt = routes.get(routeKey);
if (selectedPrompt == null) {
throw new IllegalArgumentException("Selected route '" + routeKey + "' not found in routes map");
}
return chatClient.prompt(selectedPrompt + "\nInput: " + input).call().content();
}
注意 routes.get(routeKey) 这一行。它按字符串精确查找,映射表里只有 billing 时,Billing 和 billing team 都会触发 IllegalArgumentException。最后一行用 "\nInput: " 拼接原始输入,并且只返回最终答复。原文展示的路由 Prompt 自己也带有 Input:,照抄两处会出现重复标签。
用 trim 和忽略大小写的比较,可以消化空白和大小写差异。把 selection 改成 enum,或显式校验允许值,可以限制应用接收哪些路由。即使通过了校验,模型仍然可能把一张账单工单选到合法的 technical。结构化输出管的是值能不能用,带标签的评估管的是值选得对不对。
模糊工单怎么接,两次调用值不值
「扣了两次费,而且支付页报错」同时碰到了账单和技术。原文的主示例只选一条路由,也没有兜底。可以加一个 general 或 other,让它请求澄清或转人工。也可以让分类结果带 confidence,低于阈值时转人工。这个阈值要用实际工单调,模型自报的置信度不能直接当作正确概率。如果业务确实需要两个团队都给答复,可以让分类器返回多条路由,再并行调用并合并结果,调用成本也会随之变化。
常规路径每个请求有 两次串行模型调用。分类返回后,处理器才能开始生成,所以模型调用耗时要相加。作者建议分类器用更小、更快的模型和较低的 temperature,处理器按答复质量选择模型,可尝试中等 temperature,具体设置要按供应商验证。处理器流式输出只能从第二次调用开始,分类的等待仍然存在。原文没有给模型名、具体温度值,也没有给延迟或成本对照。
测试时,原文用假的 ChatClient 固定返回 billing,再用 assertTrue 检查答复前缀。异常用例让分类器返回 Billing Team,用 assertThrows 检查未知路由会被拦住。这两项可以作为单元测试。分类是否可靠,要拿真实模型跑标注工单,在路由名、Prompt 或模型变更时复测。
我的判断
我认同把分类和答复分开评估。前提是业务确实需要不同的处理方式,而且类别边界能写清楚。两条路由都能接登录故障时,先明确安全问题和技术故障各由谁接,再调分类 Prompt。否则,标注人员和模型都可能在同一批工单上反复摇摆。
先生成 reasoning 会让选择更一致,是作者的经验判断,原文没有提供对照实验。即使解释和选项看起来很一致,也可能一起错。排查问题时,可以参考解释,再用人工标签判断结果。记录工单原文或模型解释时,两者都要按客户数据的规则处理。
如果页面入口或表单字段已经明确表达了用户意图,直接用规则分流更省一步。如果绝大多数请求都走同一套答复,默认处理器加少量例外分支可能更便宜。只有那些需要理解自由文本、又有清晰业务边界的请求,才更适合交给模型分类。至于后一步必须消费前一步的产出,或者要检查并改写初稿,原文分别推荐链式工作流和评估优化循环。
能拿来做什么
- 在 Node 工单接口里先把路由定义成允许值集合,给未知值、解析失败和无法归类的请求明确去向。
general可以先问用户要补哪项信息,或者把请求交给人工。 - 从已有工单抽一小批做标注,纳入容易混淆的登录故障和同时提到扣费、报错的请求。把分类准确率和答复检查分开,改路由名、Prompt 或模型时在 CI 里重跑。
- 给分类和答复分别记录耗时,再看各路由的请求占比。如果账号或账单入口已经携带可靠的类别字段,可以先用字段分流,把模型调用留给类别不明的自由文本。