1.模型选型服务器信息NVIDIA T4 * 2 16G * 2 Driver Version: 535.154.05 CUDA Version: 12.2模型选择Qwen2.5-VL-7B-Instruct-AWQ速度非常快毫秒级响应2.下载模型dockerrun--rm-it\--gpusall\--entrypoint/bin/bash\--pids-limit-1\--security-optseccompunconfined\-v/root/lipengcheng/models1:/models\-eOMP_NUM_THREADS8\vllm/vllm-openai:latest\-cpip install modelscope python3 -c\from modelscope import snapshot_download; snapshot_download(qwen/Qwen2.5-VL-7B-Instruct-AWQ, cache_dir/models/qwen)\3.下载vllm镜像dockerpull vllm/vllm-openai:latest4.启动容器dockerrun--gpusall-d-p8000:8000--nameqwen2.5-vl-7b\--ipchost\--pids-limit-1\--security-optseccompunconfined\-v/root/lipengcheng/models1/qwen/Qwen2___5-VL-7B-Instruct-AWQ:/model\-eHF_DATASETS_OFFLINE1\-eTRANSFORMERS_OFFLINE1\-eOMP_NUM_THREADS16\vllm/vllm-openai:latest\--model/model\--tensor-parallel-size2\--max-model-len16384\--gpu-memory-utilization0.9\--trust-remote-code参数解释一、 Docker 基础运行参数 此部分负责容器的基础生命周期与资源映射。--gpusall将宿主机的所有 GPU 资源透传给容器使用。 -d后台运行Detached 模式避免占用当前终端会话。-p8000:8000端口映射。将容器内部的8000服务端口映射到宿主机的8000端口以便外部服务如 API 客户端进行访问。--nameqwen2.5-vl-7b指定容器名称便于后续的日志查看、启停和资源监控。-v宿主机路径:/model目录挂载。将宿主机中实际存放模型权重的复杂路径映射为容器内统一且极简的 /model 目录可有效规避 vLLM 对过长路径的解析异常。 二、 系统与权限控制参数关键 此部分用于打破系统默认的安全限制是大模型在多卡、高并发场景下不崩溃的保障。--ipchost多卡并行必填项 允许容器直接使用宿主机的共享内存。在启用多卡张量并行TP时GPU 之间的数据交换极其频繁若不配置此项容器默认的 64MB 共享内存会被瞬间耗尽并导致进程卡死。 --pids-limit -1解除容器内最大进程/线程数的限制。大模型在加载和推理阶段会派生海量线程设置为 -1无限制可防止 pthread_create failed 报错。 --security-optseccompunconfined解除系统级安全拦截。部分较新的 Linux 内核如 Ubuntu24.04默认的安全策略seccomp会拦截 AI 计算库的底层系统调用配置此项可予开放行。 三、 环境变量配置网络与 CPU 调优 此部分通过-e注入容器用于优化启动速度和宿主机 CPU 负载。HF_DATASETS_OFFLINE1与TRANSFORMERS_OFFLINE1离线部署核心 强制底层 HuggingFace 库开启纯离线模式。禁止其在服务启动时尝试连接外网校验版本或下载依赖实现“秒读”本地硬盘模型彻底杜绝因网络超时或 DNS 解析失败导致的启动崩溃。OMP_NUM_THREADS16限制 CPU 底层数学库的并发线程数。避免在进行 CPU 预处理时占用宿主机全部核心防止系统资源抢占导致的整体卡顿。 四、 vLLM 引擎推理参数 此部分直接决定了 AI 模型的显存分配逻辑和运行表现。--model/model指定 vLLM 加载模型的路径对应上述-v挂载的容器内路径。 --tensor-parallel-size2张量并行度TP。强制将模型切分并分布到2块显卡上协同计算解决单张显存不足的问题卡数需根据实际物理 GPU 数量严格对应。 --max-model-len16384最大上下文长度限制。限制单次请求包含历史对话及图像编码的最大 Token 数量。合理设定此阈值可防止因输入超长文本导致显存溢出OOM。 --gpu-memory-utilization0.9显存利用率分配。指定 vLLM 引擎可预先占用的显存比例上限此处为90%。系统会利用这些空间存放模型权重和 KV Cache预留10% 供显卡驱动和其他底层进程使用。 --trust-remote-code允许执行模型包内附带的自定义 Python 代码。对于采用了新架构的模型如 Qwen、InternVL此项为必填项否则引擎会出于安全限制拒绝加载其特有的网络结构代码。启动日志查看代码 CODEBLOCK_PLACEHOLDER_0005显卡缓存模型的速度token缓存数量30多万个5.模型测试CODEBLOCK_PLACEHOLDER_0006 CODEBLOCK_PLACEHOLDER_00076.测试模型页面html页面展示单个html页面直接双击运行如果有喜欢的可以私信我
