vLLM 内核融合让 Kimi K3 推理提速

IT之家 10 月 18 日消息，调研机构 SemiAnalysis 今日发文称，英伟达通过一项上游 vLLM 优化，让拥有 2.8 万亿参数的 Kimi K3 模型实现了 423 tok/s/user（每用户每秒生成 423 个 Token）的推理速度。与相同硬件（GB300 NVL72）上的表现相比，性能提升至 1.68 倍。

据介绍，这项优化由英伟达 CentML 工程师 Benjamin 完成。他使用 Cute DSL 编写英伟达新推出的解码专用内核，通过大规模 Megakernel 融合实现优化。该 Megakernel 包含 1.2 万行代码，代表着 AI 辅助生成高级计算内核的未来方向。英伟达优化 Kimi K3 模型推理速度，提升至 1.68 倍。

IT之家注意到，除此之外，英伟达还在为 vLLM 开发 DeepSeek V4.1 等其他模型的优化。

软媒旗下网站：IT之家、最会买 - 返利返现优惠券、iPhone之家、Win7之家、Win10之家、Win11之家。

软媒旗下软件：软媒手机APP应用、魔方、最会买、要知。