用 Spring AI 并发调用模型并汇总结果
文章基于 Spring AI 官方示例,介绍通过 ChatClient 并发执行多个模型请求,再合并结果。内容涵盖任务分拆与多次回答投票两种模式,适用于批量提问或可拆分请求。
AI 深度解读
把十次 LLM 调用从串行改成并行,可能比继续打磨提示词更直接地缩短等待时间。Spring AI 的这个示例展示了两种用法:把独立任务同时处理,或者对同一个问题生成多份答案,再汇总判断。
核心实现只有一个线程池和一组 CompletableFuture。但从示例走到业务,真正需要设计的是并发上限、部分失败、超时和调用预算。原文没有提供性能或准确率对照实验,更适合当作一份实现思路与工程检查指南。
先分清:你要的是更快,还是多份判断
作者借用了 Anthropic「Building Effective Agents」中的 Parallelization Workflow,将多次模型调用同时发出,最后合并结果。这里有两种不同目标。
Sectioning 是拆分任务。每次调用处理不同输入,例如分别分析客户、员工、投资者和供应商。四组分析互不依赖,就可以同时执行。长合同按条款提取义务也是同一思路,原文示例使用 6 个 worker,并按条款顺序收回结果。
前提是每份输入都带有足够上下文。如果后一节必须读取前一节的结论,拆开之后就可能答错。对文档处理而言,「能够切成几段」和「能够独立理解」是两回事。
Voting 是重复判断。同一个问题调用多次,再用多数票、最低一致数量或另一轮模型调用汇总。它争取的是更稳定的判断信号。
作者用十条产品评论解释并行收益:假设每次调用耗时 4 秒,串行需要 40 秒;如果全部独立且允许同时发送,整批时间可以接近最慢的一次调用。这是说明原理的假设,实际还受并发上限、排队和供应商限流影响。
并行能缩短等待时间,但不会自动减少调用费用。
几行 Java 如何同时发请求,还保住结果顺序
示例位于 spring-ai-examples 的 agentic-patterns/parallelization-workflow,核心类是 com.example.agentic.ParallelizationlWorkflow。类名中的 Parallelizationl 就是原文写法。
它依赖 Spring AI 的 ChatClient,方法签名为 public List<String> parallel(String prompt, List<String> inputs, int nWorkers)。下面这段实现负责分发调用,并按输入顺序返回答案:
ExecutorService executor = Executors.newFixedThreadPool(nWorkers);
try {
List<CompletableFuture<String>> futures = inputs.stream()
.map(input -> CompletableFuture.supplyAsync(() -> {
try {
return chatClient.prompt(prompt + "\nInput: " + input).call().content();
} catch (Exception e) {
throw new RuntimeException("Failed to process input: " + input, e);
}
}, executor))
.collect(Collectors.toList());
CompletableFuture<Void> allFutures = CompletableFuture.allOf(
futures.toArray(CompletableFuture[]::new));
allFutures.join();
return futures.stream()
.map(CompletableFuture::join)
.collect(Collectors.toList());
} finally {
executor.shutdown();
}
重点看最后的 futures.stream():它遍历的是按输入顺序保存的 future 列表。因此,即使后发请求先完成,返回结果仍然和输入逐项对齐。
nWorkers 控制这一次方法调用的线程池容量。每个 worker 执行阻塞式的 .call().content(),其余任务等待调度。CompletableFuture.allOf(...).join() 等待全部任务结束,再逐项取值。输入通过 "\nInput: " 拼进提示词,生产实现可以换成结构化模板。
finally 中的 executor.shutdown() 负责关闭本次创建的线程池,防止线程泄漏。但它没有提供调用超时。
接入 Spring Boot 时,示例通过 ChatClient.Builder 创建客户端,在 CommandLineRunner 中分析四类利益相关方,传入 4 个 worker。业务中可以把 workflow 注册为 bean,再由 service 调用。
配置也要核对:原文指出,application.properties 同时出现 Anthropic 和 Ollama 配置,而 pom.xml 包含的是 Anthropic model starter。配置文件写了供应商名称,并不代表对应依赖已经进入 classpath。原文没有给出 Spring AI 版本号,不能据此推断所有版本都能直接照搬。
多数票和更多线程,都有容易踩空的前提
下面的代码用五次调用判断同一笔交易,至少三票为 REVIEW 时进入复核:
String transactionSummary = """
Amount: 4,900 USD
Merchant category: electronics
Country: different from the cardholder's usual country
Time: 03:12 local time
""";
List<String> votes = workflow.parallel(
"Is this transaction likely fraudulent? Answer with exactly one word: APPROVE or REVIEW.",
Collections.nCopies(5, transactionSummary),
5);
long reviewCount = votes.stream()
.filter(v -> v.trim().toUpperCase().startsWith("REVIEW"))
.count();
boolean needsReview = reviewCount >= 3;
要留意 startsWith("REVIEW"):它只是字符串前缀匹配,无法严格验证答案是否只有一个合法词。无法解析的输出也没有独立状态,最终可能让需要复核的票数不足。实际聚合应使用结构化输出,并明确无效答案如何处理。
还有一个更根本的问题:五份答案有没有差异。
作者提醒,如果模型表现为确定性生成,同样的提示词可能得到五份相同答案。需要通过 ChatClient options 显式设置非零 temperature,或者让不同调用关注不同角度。但产生差异也不等于提高准确率,原文没有给出验证结果。
成本则非常明确:按相同输入输出规模估算,五次调用就是五份费用。500 个条目各投 5 票,会展开成 2,500 次调用;如果最后再用模型汇总,还要继续计算调用和 token 预算。
并发同样需要全局视角。每批各开一个线程池,只限制单批容量。高流量服务更适合考虑共享 executor bean、有限队列和背压,也就是容量满了以后,明确让请求等待、失败还是降级。
失败策略也不能直接沿用示例。当前代码只要有一项异常,调用方就拿不到完整的返回列表。原文建议用包含 index、input、output、error 的 ItemResult,配合 handle(...) 为每项记录结果,仅重试失败项,并限制次数、加入退避。
超时可以通过 CompletableFuture.orTimeout、completeOnTimeout 或收集时的 get(timeout, unit) 限制等待,同时设置整批期限。不过,future 超时不保证底层 HTTP 请求已经终止,还需要核对模型客户端的网络超时与取消行为。
我的判断
这篇最有用的是把「任务能否独立」放到了实现之前。能预先确定子任务、各自拥有完整上下文的工作,适合这种固定分发流程。需要动态选择专家时,更适合 routing;需要评审后反复修改时,可以考虑 evaluator-optimizer;需要模型先规划子任务时,则属于 orchestrator-workers 的范围。
但它仍是一份教学示例,没有吞吐量、限流曲线或 Voting 准确率的对照数据。作者关于 worker 数量和投票收益的建议,需要在自己的模型、账号额度与输入长度下验证。
有两个细节尤其不能照抄。第一,原文把整批异常描述为「快速失败」,但 allOf 会等待所有 future 完成,不会在首个失败发生时立即返回或取消其他任务。第二,测试草图在无参数的 content() mock 回调里使用 invocation.getArgument(0),不能直接取得上游 prompt(...) 的参数,需要重新组织 mock。
对于前端和 Node 开发者,值得借鉴的是调度契约:限制同时进行的请求、保留输入与输出的对应关系、逐项记录失败。异步 API 本身不会替你完成这些设计。
能拿来做什么
- 给已有的文档分段提取或批量分析加速前,先为每项任务写一句独立性说明;需要共享前序结论的步骤继续按顺序执行。
- 在 Java 或 Node 服务中把并发数放进配置,先用小批量记录延迟、错误率与限流响应,再逐步调整;同时检查多个批次是否共用容量上限。
- 为批处理返回逐项状态,保留索引或业务 ID,并为单次调用、整批等待和重试次数设置边界,让失败项能够单独补跑。
- 用假客户端验证乱序完成后仍按输入返回、空输入、零 worker 和异常路径;真实模型测试保持少量调用,在供应商支持时使用固定 seed 或低 temperature,断言结构而非整段措辞。