TokenRouter 通过逐词元路由提升推理吞吐

Token 级路由让专门为其设计的服务栈能够在不重新训练任何模型的情况下，相比现有基线，每秒生成的 token 数量最高提升至 64 倍。

过去，生产系统一直采用会话级或查询级的粗粒度路由，将每个请求视为不可拆分的整体，并交给单个 LLM 处理。学术研究表明，细粒度的 token 级决策可以提高效率，但现有推理引擎都是基于单模型假设构建的，因此会遇到执行步不同步、请求延迟加入批次等问题。

在多种路由算法、工作负载和模型组合下，TokenRouter 的解码吞吐量达到现有各类服务基线的 2.01–64.15 倍。“在多种路由算法、工作负载和模型组合下，TokenRouter 的解码吞吐量达到现有系统的 2.01–64.15 倍，显著提高了 token 级 LLM 路由的服务效率。”[1]

端到端延迟也有相近幅度的下降：在标准服务工作负载下，延迟缩短至原来的 1/2.03–1/63.64。“TokenRouter 还将 Std. Serving 的端到端延迟缩短至原来的 1/2.03–1/63.64。”[1]

系统的性能收益取决于一个延迟组批调度器，其最优超参数由数学吞吐量模型推导得出。这意味着，面对新的工作负载，如果这些参数调得不合适，性能就可能发生变化。此外，TokenRouter 会为每个 LLM 启动一个子服务器；当系统包含数十个异构专家模型时，能否保持同样幅度的性能提升，仍是一个尚未解决的问题。

如果这些吞吐量和延迟改善在生产环境中依然成立，那么长上下文应用的默认服务栈就应该换成 token 级路由器，而任何基于普通批次优先流水线报告原始延迟的基准测试，都将不再适用。

TokenRouter：面向 Token 级 LLM 路由的高效服务系统

如需采取进一步行动，你可以考虑屏蔽此人和/或举报滥用行为。