vLLM：面向高吞吐部署的大模型推理引擎

让每个人都能轻松、快速、低成本地部署 LLM 服务。

| 文档 | 博客 | 论文 | Twitter/X | 用户论坛 | 开发者 Slack |

🔥 我们为 vLLM 建立了专门的网站，帮助你快速上手。欢迎访问 vllm.ai 了解更多信息。如需参加活动，请访问 vllm.ai/events。

vLLM 是一个快速、易用的 LLM 推理与服务库。

vLLM 最初由加州大学伯克利分校的 Sky Computing Lab 开发，如今已成长为最活跃的开源 AI 项目之一。来自数十家学术机构和公司的 2000 多名贡献者，组成了多元化的社区，共同开发和维护这个项目。

业界领先的服务吞吐量

• 使用 PagedAttention 高效管理 attention 的 key 和 value 内存。
• 支持对传入请求进行 continuous batching，以及 chunked prefill 和 prefix caching。
• 通过分段和完整的 CUDA/HIP graphs，实现快速、灵活的模型执行。
• 支持多种量化方案：FP8、MXFP8/MXFP4、NVFP4、INT8、INT4、GPTQ/AWQ、GGUF、compressed-tensors、ModelOpt、TorchAO 等。
• 提供经过优化的 attention kernel，包括 FlashAttention、FlashInfer、TRTLLM-GEN、FlashMLA 和 Triton。
• 使用 CUTLASS、TRTLLM-GEN、CuTeDSL，为不同精度提供经过优化的 GEMM/MoE kernel。
• 支持 speculative decoding，包括 n-gram、suffix、EAGLE、DFlash。
• 使用 torch.compile 自动生成 kernel，并进行计算图级别的变换。
• 支持 prefill、decode 和 encode 的分离式部署。

灵活易用

vLLM 提供以下能力，让使用更加灵活、便捷：

• 无缝集成常用的 Hugging Face 模型。
• 支持多种解码算法，包括 parallel sampling、beam search 等，实现高吞吐量服务。
• 支持 tensor、pipeline、data、expert 和 context parallelism，用于分布式推理。
• 使用 xgrammar 或 guidance 生成结构化输出。
• 支持 tool calling 和 reasoning parser。
• 提供兼容 OpenAI 的 API server，并支持 Anthropic Messages API 和 gRPC。
• 为 dense 和 MoE 层提供高效的 multi-LoRA 支持。
• 支持 NVIDIA GPU、AMD GPU、Intel GPU，以及 x86/ARM/PowerPC CPU。此外，还提供多种硬件插件，支持 Google TPU、Intel Gaudi、IBM Spyre、Huawei Ascend、Rebellions NPU、Apple Silicon、MetaX GPU 等硬件。

支持的模型

vLLM 无缝支持 Hugging Face 上的 200 多种模型架构，包括：

• Decoder-only LLM，例如 Llama、Qwen、Gemma。
• Mixture-of-Expert LLM，例如 Mixtral、DeepSeek-V3、Qwen-MoE、GPT-OSS。
• 混合 attention 与 state-space 的模型，例如 Mamba、Qwen3.5。
• Multi-modal 模型，例如 LLaVA、Qwen-VL、Pixtral。
• Embedding 和检索模型，例如 E5-Mistral、GTE、ColBERT。
• Reward 和分类模型，例如 Qwen-Math。

可在此处查看支持模型的完整列表。

安装与使用

使用 uv（推荐）或 pip 安装 vLLM：

uv pip install vllm
vllm download-kernels  # precompiled kernels for faster startup

也可以从源码构建，用于开发。

访问我们的文档，了解更多信息。

支持的模型列表

贡献与合作

我们欢迎并重视任何贡献与合作。有关如何参与，请查看《为 vLLM 贡献》。

如果你在研究中使用了 vLLM，请引用我们的论文：

@inproceedings{kwon2023efficient,
  title={Efficient Memory Management for Large Language Model Serving with PagedAttention},
  author={Woosuk Kwon and Zhuohan Li and Siyuan Zhuang and Ying Sheng and Lianmin Zheng and Cody Hao Yu and Joseph E. Gonzalez and Hao Zhang and Ion Stoica},
  booktitle={Proceedings of the ACM SIGOPS 29th Symposium on Operating Systems Principles},
  year={2023}
}

• 技术问题和功能请求，请使用 GitHub Issues。
• 与其他用户交流，请使用 vLLM Forum。
• 协调贡献和开发工作，请使用 Slack。
• 安全漏洞披露，请使用 GitHub 的 Security Advisories 功能。
• 合作与伙伴关系事宜，请通过 collaboration@vllm.ai 联系我们。
• 如需使用 vLLM 的 logo，请参阅我们的媒体资料仓库。