LLM 应用上线,可靠性还得靠工程兜底
文章针对 JSON 格式失效、接口挂起和检索偏题等生产问题,提出在模型调用外建立控制层。重点措施包括严格输出校验、明确超时、动态重试和上下文检查。
AI 深度解读
LLM 应用在本地演示时顺畅,上线后却可能返回缺字段的 JSON、卡住 API 请求,或者拿着无关资料回答问题。作者认为,这些故障通常不能靠继续打磨提示词解决,需要在模型调用外围补上校验、超时、重试和检索检查。
这篇值得看的地方,是把 AI 应用的可靠性拉回后端工程:模型输出只是待检查的数据,请求也可能失败。不过,文中的可靠性比例没有实验支撑,示例代码也留下了需要补齐的边界。
JSON 能解析,不代表业务能执行
作者估计,提示词工程只能解决约 60% 到 70% 的可靠性问题,剩下的要靠工程控制。这个比例可以帮助理解其立场,但原文没有交代测量方法,不能当成行业基准。
真正具体的建议,是不要相信一句「始终返回合法 JSON」就能保护下游服务。JSON 格式正确,仍然可能缺少字段,或者字段类型不符合接口约定。
原文使用 OpenAI() 客户端,通过 client.chat.completions.create 调用 gpt-4o-mini,设置 response_format={"type": "json_object"},再用 Pydantic 的 AgentAction 检查三个字段:thought_process: str、action_name: str 和 payload: dict。处理顺序是先 json.loads,再构造 AgentAction;遇到 json.JSONDecodeError 或 ValidationError,立即转成 ValueError。
模型负责生成候选结果,应用负责决定结果能不能进入业务流程。
不过,这个示例只检查了外层结构。action_name 是否属于允许执行的操作,payload 内部需要哪些字段,原文没有继续约束。对于会调用工具的 Agent,这两层检查仍然要补上。
超时和重试要一起设计,降级也有成本
网络波动、限流和临时服务错误,都可能让一次正常的模型调用失败。作者建议设置明确超时,使用指数退避重试,并在主模型失败时切换到备用模型。
下面是原文的调用包装,解决的是主请求失败后如何尝试备用模型,以及失败后如何重试:
import httpx
from tenacity import retry, stop_after_attempt, wait_exponential
@retry(
stop=stop_after_attempt(3),
wait=wait_exponential(multiplier=1, min=2, max=10),
reraise=True
)
def execute_llm_call(messages: list) -> str:
try:
# 设置明确的 HTTP 超时
response = client.chat.completions.create(
model="gpt-4o",
messages=messages,
timeout=5.0
)
return response.choices[0].message.content
except (httpx.TimeoutException, Exception) as exc:
# 必要时切换到更小的请求或备用模型
response = client.chat.completions.create(
model="gpt-4o-mini",
messages=messages,
timeout=3.0
)
return response.choices[0].message.content
要重点看 except (httpx.TimeoutException, Exception):因为包含 Exception,它实际会把主调用中的各种普通异常都导向备用模型,并没有区分哪些故障值得重试。
另一个容易误读的地方是 stop_after_attempt(3)。它限制的是整个函数的尝试次数,每轮都可能先请求 gpt-4o,再请求 gpt-4o-mini。timeout=5.0 和 timeout=3.0 也不能直接当作整个业务请求的总时限,外面还有退避等待。
因此,这段适合说明机制,直接用于生产还需要按错误类型决定重试,并控制整个请求的耗时预算。代码注释提到缩小请求,但实际传入的仍是同一份 messages,没有展示上下文裁剪。
答案不准,要先检查模型拿到了什么
在检索增强生成(RAG)应用中,改提示词经常是在处理错误的层级。
如果向量数据库返回的资料无关、过时,或者切块时丢掉了必要上下文,生成模型就缺少可靠依据。作者提出三道检查:用相似度阈值过滤结果,检查内容是否真的回答当前问题,资料不足时直接返回预设响应,提前结束流程。
这里不能把「相似度高」等同于「证据充分」。语义接近的文档也可能没有所需信息,所以内容相关性检查仍然必要。原文没有提供阈值、检查方法或评测结果,这部分给出的是方向。
提示词本身也应该进入工程管理:保存为配置文件或纳入版本控制,修改前跑结构化测试基准,上线后追踪输出,观察供应商模型更新后是否出现漂移。只有记录了提示词版本和实际结果,团队才有条件定位变化来自哪里。
我的判断
我认同作者对故障分层的判断。格式错误归输出校验,请求卡住归调用控制,资料无关归检索质量。把这些问题全部归因于模型,排查很容易失焦。
但原文没有给出真实故障样本、改造前后成功率,也没有与其他方案做对照。「60% 到 70%」属于缺乏依据的估计,整套建议更接近工程经验,不能据此承诺可靠性提升幅度。
还要区分两种约束:生成阶段要求模型遵循结构,运行时检查结果是否合格。原文的 json_object 配合 Pydantic 展示了后者的价值,却没有比较更强的生成约束方案。即便采用更严格的输出机制,业务规则校验也仍然需要保留。
备用模型同样需要验收。能返回内容,只证明请求完成了,不能证明它满足原任务的质量要求。
能拿来做什么
- 给 Node 服务中的模型响应增加运行时结构校验,并继续检查允许的操作和业务字段,校验通过后再交给下游执行。
- 梳理模型调用的超时、重试和降级路径,明确哪些错误值得重试,以及用户最多需要等待多久。
- 排查知识库问答时,先查看实际检索片段;资料不足就返回明确提示,避免让模型继续猜。
- 把提示词纳入版本控制,积累正常输入、异常输入和检索不足的测试样本,用固定样本检查修改效果。