logo
2
0
Login

VLLM 在线部署(cnb:arch:amd64:gpu)

前置说明:直接Fork仓库运行,不要问怎么用和怎么添加模型,想要玩转“云原生开发”的,git、docker、yaml 的基础知识必须会,点到为止 ···

项目介绍

基于 CNB 构建一个较新的 VLLM 运行环境

环境CPU内存GPU显存Image
Docker64 Core32GH2096Gvllm/vllm-openai:latest

更多AI相关内容(也欢迎玩摄影的小伙伴们!)

抖音小红书公众号

About

No description, topics, or website provided.
Language
Shell63.8%
Markdown34%
gitignore2.1%
Others0.1%