用 Spring AI 让模型按输入动态分派任务
文章拆解 Spring AI 示例,由中央模型根据输入生成子任务,交给专门的工作节点执行,再汇总结果。作者还讨论了示例实现相对生产场景做了哪些简化。
AI 深度解读
能提前列出子任务,就把流程写在代码里。碰到同一类请求每次都要拆成不同的工作,才考虑让模型先列计划。作者用 Spring AI 的 Orchestrator-Workers 示例讲清了这个取舍。程序仍然控制什么时候规划、执行和收集结果,模型负责决定这一轮要做哪些子任务。
这个示例有个容易看漏的细节。README 说 worker 并行执行,代码实际是串行的。再加上任务数没上限、出错会中断,这套写法从跑通演示到接进服务,还有几处具体的代码要补。
哪些任务值得让模型先拆一遍
编排器与工作器(Orchestrator-Workers)的整体流程是固定的。先调用一次编排器生成计划,再为计划里的每项任务调用一次 worker,最后由代码收集结果。每次变化的是计划里的任务数量和内容。比如不同的代码修改请求会牵涉不同文件,研究问题需要查哪些来源,也要看用户具体问了什么。
固定串行链适合步骤明确的任务,比如每次都先提取字段、再转换、最后校验。固定并行适合每次都跑同一组独立检查。路由(routing)适合从已有流程里挑一条,比如先区分 bug 报告和功能请求,再走各自的处理流程。如果同一条分支里面的工作还会随输入变化,才需要运行时拆分。每次规划至少多一次模型调用,后面还有多少次,取决于计划里列了几项。
Spring AI 示例位于 spring-ai-examples 的 agentic-patterns/orchestrator-workers 目录。项目用 Java 17,父 POM 固定了 Spring Boot 4.1.1,并通过 BOM 固定 Spring AI 2.1.0-SNAPSHOT。它依赖 Anthropic starter,配置 spring.main.web-application-type=none,从命令行运行一次就退出。需要 Java 17 或更高版本、Maven 或项目自带的 Maven Wrapper,以及 ANTHROPIC_API_KEY。应用通过 spring.ai.anthropic.api-key=${ANTHROPIC_API_KEY} 读取密钥。用 Maven Wrapper 启动后,程序会打印规划分析、子任务和 worker 输出。
从一条请求到一份可执行计划,中间传了什么
Application 负责装配 ChatClient 并发起一次示例请求,OrchestratorWorkers 负责执行流程。默认任务是给环保水瓶写产品描述。提示词要求模型给出两到三种写法,还示范了正式版和口语版。这里拆出来的是可以分别交付的文案版本。拿它做代码助手时,规划提示词得改成按文件或步骤描述要做的事。
下面这段调用把模板里的 task 参数填成原始请求,再把模型响应读成 Java record。
OrchestratorResponse orchestratorResponse = this.chatClient.prompt()
.user(u -> u.text(this.orchestratorPrompt)
.param("task", taskDescription))
.call()
.entity(OrchestratorResponse.class);
最后一行的 .entity(...) 会让 Spring AI 补上格式要求,请模型生成对应的 JSON,再反序列化成 OrchestratorResponse。解析失败时,示例会抛异常并结束这次运行。解析成功后,程序还得检查计划本身,比如 tasks() 有多少项。提示词里的「两到三种」只是模型收到的要求,调用次数上限要靠代码执行。
OrchestratorResponse 包含一段任务分析 analysis 和 List<Task>。每个 Task 带有类型 type 和任务说明 description。worker 收到 original_task、task_type 和 task_description,所以它既知道用户的原始请求,也知道自己负责哪一块。各 worker 用 .content() 取回纯文本,最终 FinalResponse 只带回分析和 List<String> workerResponses。文案可以直接作为候选项供用户挑选。需要一份统一答案时,可以加一次综合调用,也可以在展示前按 schema 校验各项输出。多文件编辑还要解决改动之间的冲突,单独加一次模型调用并不能保证合并成功。
并发能缩短等待,调用预算还得另算
原示例在 tasks().stream().map(...) 里执行阻塞的 .call()。前一个 worker 返回后,下一个才会开始。原文举了一个便于估算的例子,三项任务各耗时四秒,串行的 worker 阶段约十二秒。若三项能同时启动,理想情况下这段等待约四秒。规划和其他开销还要另算,这也不是作者给出的实测数据。
作者给出的改写用固定大小的线程池执行 worker,并让返回结果与原计划的顺序一致。
ExecutorService pool = Executors.newFixedThreadPool(4);
try {
List<CompletableFuture<String>> futures = orchestratorResponse.tasks().stream()
.map(task -> CompletableFuture.supplyAsync(() -> this.chatClient.prompt()
.user(u -> u.text(this.workerPrompt)
.param("original_task", taskDescription)
.param("task_type", task.type())
.param("task_description", task.description()))
.call()
.content(), pool))
.toList();
List<String> workerResponses = futures.stream().map(CompletableFuture::join).toList();
} finally {
pool.shutdown();
}
CompletableFuture::join 那行按提交顺序收结果,所以先完成的 worker 不会把结果位置打乱。某个 worker 失败时,对应的 join() 仍会抛异常。线程池大小 4 限制这批任务同时跑几个,总共要调用多少次仍由计划决定。开始派发前,应校验 tasks() 的长度,并明确规划失败能重试几次、单项失败是跳过、重试还是终止整次请求。示例用 System.out.println 打印完整内容。如果输出含有用户数据,服务日志可以只记必要的计划摘要和 worker 数量。
我的判断
我认同作者提出的选择标准。先看子任务是否真的随输入而变,再算多一次规划和后续调用的成本。对于固定的字段检查或已知类别的分流,代码和路由更容易写出可重复的测试。对于多数请求能归入两三套固定流程、少数请求才需要临时拆解的服务,作者提出的混合做法更容易落地,把动态规划放到确实需要它的分支。
样例代码能证实 worker 串行执行,也能看出返回值只有分析和结果列表。至于动态规划是否比固定流程生成更好的答案,作者没有给对照数据,也没有报告端到端延迟和评测规模,这是经验之谈。尤其是水瓶文案,每种写法都能独立交付,正好避开了子任务相互依赖和结果冲突。要拿它判断代码助手能不能把多文件改动拆好,证据还不够。
能拿来做什么
- 做日常 AI 编程工具时,先把常见请求归到几条固定流程。遇到确实需要根据需求决定改哪些文件的分支,再试运行时规划。
- 在 Node 服务里试这个结构时,把计划长度上限和 worker 并发数分开配置。先校验计划,再提交任务,并约定部分结果能否直接返回给前端。
- 给模型调用做桩测试时,固定一份规划 JSON 和几条 worker 响应,验证调用次数、返回顺序、空白输入和解析失败。另把代表性输入放进版本库,改提示词、模型或模型版本时,用这些输入重新检查拆分结果。