vllm

项目地址： https://github.com/vllm-project/vllm

官方文档： https://docs.vllm.ai/

PyPI： vllm（0.32.0，截至 2026-10）

许可证： Apache-2.0

概述

vLLM 是目前最主流的开源 LLM 推理与服务平台，把"高吞吐、低延迟、OpenAI 兼容"三件事一次做掉。

• PagedAttention：KV cache 按页管理，显存碎片少、并发高
• Continuous batching / chunked prefill / prefix caching：连续批处理、分块预填充、前缀复用
• 量化：FP8、MXFP8/MXFP4、NVFP4、INT8、INT4、GPTQ/AWQ、GGUF、compressed-tensors、ModelOpt、TorchAO 等
• 并行：tensor / pipeline / data / expert / context 并行，支持多机
• OpenAI 兼容 API：/v1/models、/v1/completions、/v1/chat/completions，另支持 Anthropic Messages API 与 gRPC
• 模型面广：200+ Hugging Face 架构（Llama / Qwen / Gemma / Mixtral / DeepSeek-V3 / Qwen-MoE / GPT-OSS / Mamba / 多模态 / embedding / reward）
• 硬件：NVIDIA、AMD、Intel GPU，x86/ARM/PowerPC CPU，以及 TPU / Gaudi / Ascend 等插件

---

环境准备

前置条件

项	要求
操作系统	Linux（macOS 需走 vLLM-Metal；Windows 建议 WSL2 + Linux 容器）
Python	3.11 – 3.14
GPU	NVIDIA 需匹配的 CUDA 驱动；AMD 走 ROCm wheel；Intel 走 XPU
磁盘	模型权重 + 编译产物，几十 GB 起步

方式一：uv（官方推荐）

uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install vllm --torch-backend=auto
vllm download-kernels

--torch-backend=auto 会按驱动版本自动选 PyTorch 源；也可写死 --torch-backend=cu126。vllm download-kernels 预编译 kernel，避免首次启动在 Hopper 及以上卡上编译几分钟。

方式二：pip / conda

# pip
python -m pip install vllm

# conda
conda create -n vllm python=3.12 -y
conda activate vllm
pip install --upgrade uv
uv pip install vllm --torch-backend=auto

方式三：不改环境直接试

uv run --with vllm vllm --help

其他硬件

# AMD ROCm（支持 Python 3.12、ROCm 7.0、glibc >= 2.35）
uv pip install vllm --extra-index-url https://wheels.vllm.ai/rocm/

# Google TPU
uv pip install vllm-tpu

Apple Silicon 用 vLLM-Metal；Ascend NPU 用 vllm-ascend。

验证

vllm --version
vllm serve --help | head -30

---

离线批量推理

from vllm import LLM, SamplingParams

prompts = [
    "Hello, my name is",
    "The president of the United States is",
    "The capital of France is",
    "The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

llm = LLM(model="facebook/opt-125m")
outputs = llm.generate(prompts, sampling_params)

for output in outputs:
    print(f"Prompt: {output.prompt!r}")
    print(f"Generated: {output.outputs[0].text!r}")