前置说明：直接Fork仓库运行，不要问怎么用和怎么添加模型，想要玩转“云原生开发”的，git、docker、yaml 的基础知识必须会，点到为止 ···

• VLLM 更新至 0.11.0
• Torch 更新至 2.8.0+cu128
• CNB 镜像：docker.cnb.cool/jiangrj/docker_hub:vllm
• Docker 镜像：registry.cn-hangzhou.aliyuncs.com/joybo/vllm

Qwen2.5-VL加载速度慢的问题已经解决（Torch2.5及以上的版本即可）

基于 CNB 构建一个较新的 VLLM 运行环境

环境	CPU	内存	GPU	显存	Image
Docker	16 Core	32G	H20	96G	vllm/vllm-openai:latest

抖音	小红书	公众号