VLLM部署Qwen模型-北京尧图网络

一、Qwen2.5-14B1. 环境准备# 创建并激活虚拟环境推荐 python -m venv qwen_env source qwen_env/bin/activate # 安装依赖库确保Python≥3.8 pip install vllm transformers torch2. 下载模型pip install modelscope modelscope download --model Qwen/Qwen2.5-14B-Instruct --local_dir path/to/dir如果下载模型的时候提示没有权限export MODELSCOPE_CACHE/tmp/modelscope_cache modelscope download --model Qwen/Qwen2.5-7B-Instruct3. 启动服务# 指定4张GPU根据实际GPU数量调整 export CUDA_VISIBLE_DEVICES0,1,2,3 # 设置模型路径和服务名称 MODEL_PATH./Qwen2.5-14B-Instruct SERVED_MODEL_NAMEQwen2.5_14B # 启动服务关键参数说明见注释 python -m vllm.entrypoints.openai.api_server \ --model $MODEL_PATH \ --served-model-name $SERVED_MODEL_NAME \ --tensor-parallel-size 4 \ # 使用4张GPU并行 --gpu-memory-utilization 0.95 \ # GPU显存利用率 --port 8000 \ --max-num-seqs 256 \ # 提高并发处理能力 --max-model-len 8192 # 支持更长上下文4. 验证服务发送测试请求新终端curl http://localhost:8000/v1/models预期输出{object:list,data:[{id:qwen2.5_14B,object:model}]}5. 调用API示例import openai client openai.OpenAI(base_urlhttp://localhost:8000/v1, api_keynone) response client.chat.completions.create( modelqwen2.5_14B, messages[{role: user, content: 你好}] ) print(response.choices[0].message.content)6. 远程调用API示例首先本地获取IP地址ifconfig然后远程使用例如import openai client openai.OpenAI(base_urlhttp://10.233.23.133:8000/v1, api_keynone) response client.chat.completions.create( modelqwen2.5_14B, messages[{role: user, content: 你好}] ) print(response.choices[0].message.content)二、Qwen3-14B部署方式类似但需要cuda版本12.4可以nvidia-smi查看transformers版本4.51.0。1. 安装VLLM1创建 conda 环境# 创建 conda 虚拟环境环境名称为 vllmpython 的版本为 3.10 conda create -n vllm python3.102切换 vllm 环境conda activate vllm这里有可能切换失败可以尝试两种方案conda init或者source ~/.bashrc3安装 vllm 和 modelscopepip install -U vllm \ --pre \ --extra-index-url https://wheels.vllm.ai/nightly pip install modelscope2. 启动服务创建run.sh文件# 指定2张GPU根据实际GPU数量调整 export CUDA_VISIBLE_DEVICES0,1 # 设置模型路径和服务名称 MODEL_PATH./Qwen3-14B SERVED_MODEL_NAMEQwen3_14B # 启动服务关键参数说明见注释 python -m vllm.entrypoints.openai.api_server \ --model $MODEL_PATH \ --served-model-name $SERVED_MODEL_NAME \ --tensor-parallel-size 2 \ # 使用2张GPU并行 --gpu-memory-utilization 0.95 \ # GPU显存利用率 --port 8000 \ --max-num-seqs 256 \ # 提高并发处理能力 --max-model-len 8192 # 支持更长上下文然后命令行运行sh run.sh3. 调用API示例import openai client openai.OpenAI(base_urlhttp://localhost:8000/v1, api_keynone) response client.chat.completions.create( modelqwen3-14B, messages[{role: user, content: /no_think 你好}] ) print(response.choices[0].message.content)三、关于虚拟环境在notebook使用conda install ipykernel python -m ipykernel install --user --name vllm四、Qwen3.5-27B部署方式类似但需要cuda版本13.0可以nvidia-smi查看Python 3.12。然后vLLM 0.27.1 transformers 5.15.0。1. 安装VLLM1创建 conda 环境# 创建 conda 虚拟环境环境名称为 vllmpython 的版本为 3.12 conda create -n vllm python3.122切换 vllm 环境conda activate vllm这里有可能切换失败可以尝试两种方案conda init或者source ~/.bashrc3安装 vllm 和 modelscopeuv pip install vllm0.27.1 --torch-backendcu130 pip install modelscope2. 启动服务创建run.sh文件# 指定2张GPU根据实际GPU数量调整 export CUDA_VISIBLE_DEVICES0,1 # 设置模型路径和服务名称 MODEL_PATH./Qwen3.5-27B SERVED_MODEL_NAMEQwen3.5_27B # 启动服务关键参数说明见注释 python -m vllm.entrypoints.openai.api_server \ --model $MODEL_PATH \ --served-model-name $SERVED_MODEL_NAME \ --tensor-parallel-size 2 \ # 使用2张GPU并行 --gpu-memory-utilization 0.95 \ # GPU显存利用率 --port 8000 \ --max-num-seqs 256 \ # 提高并发处理能力 --max-model-len 8192 # 支持更长上下文然后命令行运行sh run.sh

VLLM部署Qwen模型

相关推荐

DotNetIsolator是什么？在.NET中运行隔离.NET运行时的完整入门指南

Terraform Visual 字段级 Diff 指南：轻松对比变更前后的属性差异

cassandra gem核心API入门：10个必会的读写操作（insert、get、remove）

更多资讯

COMSOL弱形式入门：从PDE推导到有限元离散的完整指南

Qt学习之路：从零开始掌握C++跨平台开发

县城中学的单词关：一位老师和几位家长的选择记录

VASPKIT实战指南：从输入文件到能带与态密度分析

基于RA-AF高斯混合模型的声发射裂纹模式识别与Matlab实现

企业级 MCP 选型清单（下）：数据库与云原生服务接入插件的稳定性红线

今日更新

MATLAB缩进快捷键与批量格式化实战指南

用Poco实现Qt风格信号与槽的跨平台C++方案

ESXi裸机虚拟化安装指南：从硬件兼容到虚拟机部署

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？