Dynamo 将超长提示词改判为 400
Dynamo 1.6.2 中,TensorRT-LLM 后端对超出引擎上限的提示词返回 HTTP 400,工作进程继续运行。SGLang 工作进程新增初始化后冻结垃圾回收的可选设置,旨在缓解长时间运行时的流式输出卡顿。
原文暂未完整获取,基于公开信息的快读
NVIDIA Dynamo 1.6.2 修正了 TensorRT-LLM 后端对超长提示词的报错。提示词超过引擎上限时,请求会收到 HTTP 400,工作进程会继续运行。这个补丁还为 SGLang 的两类工作进程加入了可选的垃圾回收冻结设置,目标是缓解长时间运行时的流式输出卡顿。
目前能确认什么
原文节选明确举的是 TensorRT-LLM 后端的非流式 /v1/messages 请求。提示词超过引擎的 max_num_tokens 上限时,响应从 HTTP 500 api_error 改为 HTTP 400 invalid_request_error。客户端和网关通常会对部分 5xx 响应重试,而超出上限的请求原样重发,仍会遇到同一个限制。
SGLang 的 decode 和 aggregated 工作进程新增 --freeze-gc-after-init,也可通过 DYN_SGL_FREEZE_GC_AFTER_INIT 配置,默认关闭。CPython 的 gc.freeze() 会让后续的循环垃圾回收跳过冻结时已被跟踪的对象。节选用这个机制解释为何可能减少停顿,具体实现仍待确认。
我的判断
我会先看 SDK、网关和队列消费者各自怎么处理 400。只对 5xx 重试的那一层会停止重发这类请求。如果队列仍把所有非 2xx 响应重新入队,升级后照样会反复处理超长请求。节选也没有确认错误响应是否包含具体的 token 上限,客户端暂时别依赖报错文本来决定裁剪多少。
GC 冻结适合用同样的流式负载做对照,观察长时间运行后的 token 输出间隔和内存占用。现有节选给出了优化目标,实际能减少多少卡顿、内存会怎么变,还需要实测。