AI 模型会突然消失：生产系统的弹性架构实践

你的 AI API 被回滚了：当模型消失时如何构建系统韧性

早上被 Slack 告警叫醒。产品中由 AI 驱动的功能开始返回乱码。查看供应商的状态页：「模型 gpt-4-turbo-2024-04-09 已即刻废弃，请迁移至 gpt-4-turbo-2024-05-13。」

听起来熟悉吗？如果你正在将第三方 AI 模型集成到生产系统，这已不再是假设场景，而是真实发生的某一天。

AI 供应商把这种事情常态化对待——几乎没有任何通知就下架产品，并将其视为常规维护。对于在这些平台上构建应用的开发者而言，这彻底改变了我们设计集成架构的方式。

为什么这不同于其他依赖

当你在 package.json 中锁定 lodash@4.17.21，安装就完成了。这个版本在今天、下个月乃至五年后的行为完全一致。契约很简单：你控制何时升级。

AI 模型 API 则从根本上打破了这个契约：

• 模型版本可能在 30-90 天通知期内消失（有时更短）
• 即便版本标识符相同，行为也会漂移
• 当供应商在部署后发现问题时，会进行回滚
• 生命周期内定价可能变动，使你当前的集成变得不经济

这不是技术问题——而是商业模式问题。当 OpenAI 为数百万用户提供服务、横跨数千款产品时，他们优化的是平台经济，而非你的部署计划。

在过去 18 个月里，从事 AI 自动化和软件开发的机构已经见证这种模式加速演变。供应商并非恶意——他们只是将模型废弃当作产品卫生管理。

开发者的困境

让我们具体化这个场景。你的功能使用 GPT-4 来总结工单。产品经理喜欢它，客户喜欢它。然后模型被下架了。

• 立即迁移到替换模型（行为可能不同，导致 prompt 失效）
• 在你能够正确测试和迁移之前，先禁用该功能
• 完全切换供应商（需要数周的重新集成工作）

这三个选项都不是好选择。全部都会产生技术债务、用户-facing 问题，或两者兼有。

防御性架构模式

在构建于不稳定的 AI 基础之上时，以下是真正有效的做法：

1. 抽象模型层

不要在代码库中散落 OpenAI 调用：

// Bad: 紧耦合
const summary = await openai.chat.completions.create({
  model: "gpt-4-turbo",
  messages: messages
});

// Better: 抽象层
const summary = await aiService.summarise({
  text: content,
  model: ModelVersion.CURRENT_SUMMARY
});

这让你可以在不触碰业务逻辑的情况下切换实现、A/B 测试模型或回退到替代方案。

2. 版本化你的 Prompt 和输出

追踪哪个模型版本生成了哪个输出：

interface AISummary {
  content: string;
  modelVersion: string;
  generatedAt: Date;
  tokensUsed: number;
}

当行为发生变化时，你可以识别哪些历史输出可能受到影响。

3. 构建熔断开关

特性开关不是可选项——而是关键基础设施：

if (!featureFlags.isEnabled('ai-summarisation')) {
  return fallbackSummarisation(content);
}

你需要能够无需部署代码就立即禁用 AI 功能。

4. 监控模型行为，而非仅仅监控可用性

传统的 API 监控（延迟、错误率）是不够的。你需要检测行为漂移：

• 追踪输出长度分布
• 抽样检查输出质量
• 监控用户反馈信号（编辑、删除、投诉）
• 为统计异常设置告警

如果新模型突然产生长度增加 40% 的摘要，你希望在 UI 崩溃之前就知道。

SLA 中应要求什么

开发者通常不参与合同谈判，但你应该为参与谈判的人提供需求。推动争取：

• 废弃的最低通知期（90 天以上）
• 明确的版本稳定性保证（或缺乏保证的说明）
• 回滚通知要求及严重性定义
• 强制迁移前对替换模型的测试访问

标准 SLA 模板将 AI 视为 SaaS。但它不是。如果你的采购团队不理解这一点，引导他们去看解释为什么 SLA 需要为 AI 集成而更新的资源。

不得不面对的真相

无论多少防御性编码都无法消除根本风险：你构建于无法控制的基础设施之上，而这种稳定性保证对于任何其他依赖来说都是不可接受的。

这不意味着你不应该使用 AI API。它意味着你需要：

• 将故障架构作为一等公民来考虑
• 永远不要在关键路径上没有回退方案的情况下使用 AI
• 为意外迁移预留时间
• 记录关于模型行为的假设

对待 AI 模型集成，就像对待一家初创公司的 beta API：强大、有用，但可能不可靠。按此标准构建。

供应商已通过他们的行动明确表明了立场。现在轮到我们来构建能够经受住他们产品决策的系统了。