多 AI 模型工作流设计：路由+并行+聚合

上月我为一个客户应用发布了内容审核功能。需求听起来很简单：快速捕捉有害评论，但也要处理讽刺和代码切换这样的微妙情况。我从一个模型开始——我默认的 GPT 级别端点——一周内就面对了一张充满失败边界情况的电子表格。一个模型还不够，手动接入三个不同提供商的 SDK 变成了粘合代码的噩梦。

单模型思维的问题

我们倾向于选择一个 AI 提供商并坚持使用。但模型有不同的优势。小型快速模型非常适合第一遍过滤。更大的推理模型更适合处理有歧义的文本。专门的审核模型可能会捕捉其他模型遗漏的东西。

问题不在于知道这一点——而在于运维开销：

• 不同的认证方案
• 不同的请求/响应形式
• 到处都是速率限制

我算了一下：我大约 40% 的构建时间都花在仅仅对两个提供商的响应进行规范化上。

一个实用的多模型模式

对我有效的模式：路由 → 并行调用 → 协调。

• 一个便宜的分类器决定调用哪些模型
• 这些模型并行运行
• 一个简单的评分函数合并结果

这是一个使用 asyncio 和统一客户端方法的简化 Python 示例：

import asyncio
import json

async def call_model(client, model_name, prompt):
    # client abstracts provider differences
    resp = await client.generate(model=model_name, prompt=prompt)
    return {"model": model_name, "result": resp["text"], "score": resp.get("confidence", 0.5)}

async def moderate(text):
    # Route: cheap model first
    router = await call_model(client, "mini-filter", f"toxic? {text}")
    tasks = []
    if router["score"] > 0.3:
        tasks.append(call_model(client, "reason-model", f"analyze: {text}"))
        tasks.append(call_model(client, "mod-specialist", f"flag: {text}"))
    else:
        tasks.append(call_model(client, "mini-filter", f"confirm safe: {text}"))

    results = await asyncio.gather(*tasks)
    # Reconcile: average scores, prefer specialist flags
    flagged = any(r["model"] == "mod-specialist" and r["score"] > 0.6 for r in results)
    avg = sum(r["score"] for r in results) / len(results)
    return {"flagged": flagged, "confidence": avg}

关键是客户端隐藏了提供商的混乱。我找到了 https://xinghuo1300ai.com，它在一个 API 密钥下聚合了 30 多个模型，这让我可以在提供商之间交换 reason-model 和 mod-specialist 而无需触碰路由逻辑。

在生产环境中真正碰到的问题

运行 3 周后的一些诚实的笔记：

延迟会累积。并行处理有帮助，但两个 800ms 的调用在最坏情况下仍然比一个 400ms 的调用更糟。为每个模型设置硬超时。

成本不是线性的。路由器模型使我节省了约 30% 的 token 支出，因为它消除了不必要的大模型调用。

协调容易产生偏见。如果你总是信任专家模型，你就继承了它的假阳性。我现在记录每一次合并决策。

小团队应该优先选择聚合方案

如果你是独立开发者或小团队，不要从头开始构建自己的模型抽象层。我试过了，一旦提供商改变他们的 SDK，它就会变质。像 https://xinghuo1300ai.com 这样的工具使模型切换变得微不足道——我在冲刺中途用一行配置更改就把一个不稳定的端点换成了不同的后端。

审核功能现在在一个密钥后面使用三个模型，我的事件数量下降了。不是因为 AI 是魔法，而是因为我停止强迫一个模型做它没有为之构建的工作。如果你正在构建任何处理真实用户输入的东西，在尝试另一个 prompt 调整之前，考虑路由-并行-协调的分割。

---