vllm-project/vllm

一个用于大语言模型推理与在线服务的高吞吐、内存高效的开源库，以 Python 开发，可加载 Hugging Face 上的大量模型架构。 直接部署大语言模型进行推理时，注意力键值缓存占用大量显存且请求只能串行处理，导致吞吐低、显存浪费、响应慢。不借助专门引擎，很难在有限硬件上同时服务多个请求并保持较高吞吐。

核心能力：使用 PagedAttention 管理注意力键值内存，减少显存碎片与浪费；对到达的请求做连续批处理，并支持分块预填充与前缀缓存；通过分段与完整 CUDA/HIP 图加速模型执行；集成 FlashAttention、FlashInfer、FlashMLA、Triton 等优化注意力内核；使用 CUTLASS 等针对不同精度优化 GEMM/MoE 内核；支持 n-gram、suffix、EAGLE、DFlash 等投机解码；支持预填充、解码与编码分离部署。

需要在自有硬件上部署大语言模型并对外提供推理服务的团队；研究或工程场景中希望提升模型吞吐、降低显存占用的开发者。

将 Hugging Face 上的模型加载后，通过 PagedAttention 分页管理注意力键值缓存，配合连续批处理把多个请求合并执行，并使用优化后的注意力与矩阵乘内核、CUDA/HIP 图以及投机解码来提升推理效率；预填充与解码可分离部署。

按项目 README 的说明：Installation；Quickstart；List of Supported Models。完整命令见下方「怎么安装」一节或 GitHub 仓库的 README。

安装可通过 pip 完成，并可选下载预编译内核以加快启动；其他依赖与硬件限制未详细说明。

目前 95,554 星，23,744 个 Fork，主语言 Python，创建于 2023-02-09，最近一次推送 2026-10-22 09:20，许可证 Apache-2.0。星数、Fork、推送时间都是 GitHub 返回的实时数据，「最近推送」离现在越近说明越活跃；长期不动要留意是否已停止维护。