免费层是最便宜的故障注入工具

每周我都在审查同一类 Pull Request，而每周作者都会对同一次生产故障感到意外。演示在付费模型和热连接环境下运行得非常漂亮，然而一旦真实流量打到冷服务器上，端点就死了。首先出问题的层面几乎从来不是模型质量，而几乎总是应用与提供商之间的边界。而这正是免费套餐能教给你的东西，比任何负载测试仪表盘都多。

以下是我在这些审查中一直捍卫的立场：免费模型访问和免费服务器不是营销折扣，而是你所能操作的最便宜的故障注入系统。最近关于 AI 开发者实际交付什么的争论，一直围绕着一个真相打转：模型只是系统中你最不感兴趣的部分。一个弱的模型加上缓慢的冷启动，会暴露你缺失的重试机制、幼稚的超时设置，以及 JSON 总是以相同方式返回的假设。当免费环境会先教会你这些教训时，你为什么要花钱让提供商在生产规模上发现它们？

这就是为什么我一直在用 MonkeyCode 的免费套餐来构建新的 AI 功能，在任何东西触及我的付费基础设施之前。MonkeyCode 是一个开源项目，提供 10M token 配额和免费服务器选项。这意味着我可以运行一个真实的端点，用真实的请求去击中它，然后在不看账单计量器的情况下把它弄坏。披露：本文是作为 MonkeyCode 产品推广的一部分准备的。重点不是免费是永恒的，也不是免费模型能匹敌旗舰模型。重点是免费套餐是一个稳定的目标，即使质量不匹配，故障模式也与生产环境一致。

我使用的工作流是刻意无聊的，而这正是整个论点所在。我构建了一个微小的提取服务，把工单转成结构化 JSON，然后把它放在一个提供商接缝后面。我把它部署到免费服务器上，然后故意尝试破坏它。接缝比模型更重要，因为接缝是唯一在提供商切换中存活下来的东西。

# model.py
from typing import Protocol

class ModelClient(Protocol):
    def complete(self, messages: list[dict], temperature: float = 0.2) -> str: ...

# http_client.py
import os
import httpx

class HTTPModelClient:
    def __init__(self) -> None:
        self.base_url = os.environ["MONKEYCODE_BASE_URL"]
        self.api_key = os.environ["MONKEYCODE_API_KEY"]
        self.model = os.environ["MONKEYCODE_MODEL"]

    def complete(self, messages: list[dict], temperature: float = 0.2) -> str:
        response = httpx.post(
            f"{self.base_url}/chat/completions",
            headers={"Authorization": f"Bearer {self.api_key}"},
            json={"model": self.model, "messages": messages, "temperature": temperature},
            timeout=30.0,
        )
        response.raise_for_status()
        return response.json()["choices"][0]["message"]["content"]

上面的线格式遵循大多数提供商使用的 chat-completions 约定。如果 MonkeyCode 的端点有所不同，差异只在这个文件里，这正是关键。FastAPI 路由同样很小，因为整个功能就是一个 prompt、一个解析器和一个超时预算。

# app.py
import json
from fastapi import FastAPI
from http_client import HTTPModelClient

app = FastAPI()
client = HTTPModelClient()

@app.post("/extract")
def extract(payload: dict):
    content = client.complete([
        {"role": "system", "content": "Return JSON with keys summary, priority, category."},
        {"role": "user", "content": payload["text"]},
    ])
    return json.loads(content)

部署到免费服务器会给我一个公开 URL，而那个 URL 成了我的故障实验室。我等十分钟，用冷状态击中端点，然后用 curl 测量总时间，看看我的超时是否能撑过一个休眠的服务器。

curl -s -o /dev/null -w "cold start: %{time_total}s\n" \
  -X POST "$FREE_SERVER_URL/extract" \
  -H "Content-Type: application/json" \
  -d '{"text": "Invoice 1042 charged twice"}'

然后我发起一组请求循环，观察第一个 429，因为没有任何单元测试会为你生成那个速率限制悬崖。响应码就是契约，而免费套餐会精确告诉你那个契约在哪里破裂。

for i in $(seq 1 20); do
  curl -s -o /dev/null -w "%{http_code}\n" \
    -X POST "$FREE_SERVER_URL/extract" \
    -H "Content-Type: application/json" \
    -d '{"text": "Password reset never arrived"}'
done

第三个测试是大多数团队跳过的，而这正是我用实际响应形状做记录而不是信任 prompt 的原因。模型会漂移，曾经返回干净 JSON 的模型会悄悄地加一段前言或重命名字段。我把真实的免费套餐响应冻结成一个契约测试，在每次部署时在 CI 中运行。

# test_contract.py
import json
from http_client import HTTPModelClient

def test_extraction_shape() -> None:
    content = HTTPModelClient().complete([
        {"role": "system", "content": "Return JSON with keys summary, priority, category."},
        {"role": "user", "content": "Invoice 1042 charged twice"},
    ])
    parsed = json.loads(content)
    assert set(parsed) >= {"summary", "priority", "category"}

现在说说局限性，因为这个观点有边界。如果你的功能依赖于免费模型缺少的能力，比如长上下文或可靠的 tool calling，免费套餐无法验证那条路径，你仍然需要一个付费的冒烟测试。如果你的流量是突发型的且对延迟敏感，免费服务器无法告诉你付费自动扩缩容如何表现，因为免费服务器是一个约束，而不是一个模拟。永远不要把 10M token 配额误认为是生产容量，因为配额衡量的是预算，而不是可靠性。

谁不应该用这种方法？已经了解自己故障模式的团队、受合规制度禁止外部端点的团队、以及期望免费套餐能证明最终质量的任何人，都会失望。其他人应该问自己：为什么他们在花钱去发现我一直在审查中发现的同样三个故障。能交付可靠 AI 功能的团队不是那些模型预算最多的团队，而是那些在最便宜的基础设施上尽早把功能弄坏的团队。

如果你想知道自己的功能在哪里首先坏掉，MonkeyCode 的免费套餐是一个合理的起步之处。模型会更弱，服务器会更冷，而这个差距恰恰是重点，因为这个差距正是你的架构变得诚实的地方。