企业级 Agent 多模型自动故障切换设计指南

单模型 agent 管道很脆弱。当 LLM 提供商遇到延迟峰值或 schema 漂移时，整个业务工作流就会停滞。

以下是 如何用 Python 设计一个具有自动故障转移能力的企业级 agent。

朴素 Agent 循环的问题

大多数 LangChain 或基础 Python agent 实现都是这样的：

用户输入 -> LLM -> 工具调用 -> 响应。

如果 LLM 返回无效 JSON 或达到 API 配额，脚本就会崩溃。

架构：主引擎 + 备用引擎

不要使用单个 LLM 客户端，而是实例化一个双引擎路由器：

class ResilientAgent:
    def __init__(self, primary_model, fallback_model):
        self.primary = primary_model
        self.fallback = fallback_model

    def execute_step(self, prompt, schema):
        try:
            return self.primary.generate(prompt, schema=schema)
        except (RateLimitError, ValidationError, APIConnectionError) as e:
            logger.warning(f"Primary model failover triggered: {e}")
            return self.fallback.generate(prompt, schema=schema)

三条关键经验教训

始终对工具参数强制执行 Pydantic schema。

追踪模型置信度分数，在致命错误发生前触发主动故障转移。

维护一个不可变的会话状态账本，确保备用模型能够从主模型中断的确切位置继续执行。

查看完整的开源实现：https://github.com/osamatech786/AI-Sales-Agent