8.0
热点
AI SCORE
技术实践2026-11-17 21:19
LLM 流式响应断了,别让代理误报成功
dev.to · AI#流式响应#LiteLLM#可靠性
Editor brief · 编辑速览
文章以 LiteLLM v1.109.0 的修复说明流式调用的三类异常:停滞超时、上游中止和缺失结束标记。HTTP 200 只说明连接建立,客户端仍需判断回答是否完整结束。
文章思维导图
Knowledge map
AI brief
原文暂未完整获取,基于公开信息的快读
LLM 回答输出到一半断了,代理却可能把请求记成成功。根据所给节选,LiteLLM v1.109.0 修复了流式调用中的停滞超时、上游中止和缺失结束标记三类异常。问题不在于有没有收到文字,而在于系统能否识别:这次回答到底有没有正常结束。
目前能确认什么
作者依据 LiteLLM 的公开更新日志和 PR 记录,转述了三项修复:
- 停滞的流现在明确报出 408 和
litellm.Timeout,此前表现为通用连接错误。 - 上游以 abort 原因结束的流,此前可能被当作正常结束,现在按 HTTP 500 处理。
- 已输出内容,却没有终止性的
finish_reason或 OpenAI 风格[DONE]标记的流,会被判为不完整。
流式响应会分批传输内容,响应头通常先于完整回答到达。HTTP 200 不能证明回答已经完整交付。
节选中的半截 JSON 和解析报错只是示例,作者也明确表示,没有实测丢包条件下的故障切换延迟。
我的判断
程序员最该检查的是「成功」在哪里被记录。如果收到响应头就记成功,或者循环读取结束就默认成功,截断回答仍可能进入聊天记录、缓存和后续处理。完成判定需要检查协议规定的结束信号;工具调用参数尤其不能拿半截内容直接执行。
但检测出失败,不等于重试和备用模型切换就一定有效。响应头已经发给客户端后,通常无法把原来的 200 改成 500。节选所说的「返回 HTTP 500」具体发生在哪一层、流中途如何通知客户端,还要等官方文档或实现确认。
另外,结束标记只证明流按协议结束,不保证内容满足业务要求。自动重试也需要处理已经展示的文字,以及可能重复执行的工具操作,不能只补一个异常捕获就算完成。