简介：vLLM是一个开源的、专为大语言模型（LLM）设计的高性能推理和服务引擎。它的核心目标就是让LLM的部署变得简单、快速、成本低廉。主要解决了LLM部署中的两大痛点：GPU资源消耗巨大和推理速度慢。

查看GPU状态

nvidia-smi

去掉终端长前缀

PS1='\u@${HOSTNAME%%-*}:\W# '

创建虚拟Python环境

conda create -n vllmenv python=3.12 -y

进入虚拟环境

conda activate vllmenv

安装vLLM

pip install vllm

安装依赖

pip install modelscope conda install -c nvidia cuda-toolkit conda install -c conda-forge libstdcxx-ng=14.2.0 -y

设置环境变量指向真实的 CUDA 库

export LIBRARY_PATH=/usr/lib/x86_64-linux-gnu:$LIBRARY_PATH export LD_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH export LD_LIBRARY_PATH=/root/miniconda3/envs/vllmenv/lib:/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH

vLLM 模型下载 + 部署

清理 flashinfer 缓存 rm -rf /root/.cache/flashinfer 模型：千问3-0.6B 地址：https://www.modelscope.cn/models/Qwen/Qwen3-0.6B 下载：modelscope download --model Qwen/Qwen3-0.6B 前台部署：VLLM_USE_MODELSCOPE=true vllm serve /root/.cache/modelscope/models/Qwen--Qwen3-0.6B/snapshots/master --served-model-name qwen3-0.6b 后台部署：nohup bash -c 'VLLM_USE_MODELSCOPE=true vllm serve /root/.cache/modelscope/models/Qwen--Qwen3-0.6B/snapshots/master --served-model-name qwen3-0.6b --port 8000' > vllm_qwen3_0.6b.log 2>&1 & # 查看进程 ps aux | grep -i vllm # 查看实时日志 tail -f vllm_qwen.log

简单对话测试（model参数对应部署时的--served-model-name）

curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "qwen3-0.6b", "messages": [ {"role": "user", "content": "你好，请介绍一下你自己"} ], "temperature": 0.6, "max_tokens": 500 }'

测试结果

注意：如果在部署过程中遇到报错，直接复制发给DeepSeek问，不要问豆包！！！