logo
3
1
Login

vLLM 项目

这是一个使用 vLLM 的深度学习项目,使用 uv 进行依赖管理。

环境要求

  • CUDA 12.8+
  • Python 3.12+
  • uv 包管理器

准备

下载模型文件

git clone https://cnb.cool/ai-models/deepseek-ai/DeepSeek-OCR model

安装说明

1. 创建虚拟环境

uv venv --python 3.12

2. 激活虚拟环境

source .venv/bin/activate

3. 安装项目依赖

uv pip install -e . --pre

这将安装以下依赖:

  • vLLM (nightly 版本)
  • einops
  • addict
  • easydict
  • matplotlib

依赖配置会自动使用 vLLM nightly wheels 和 PyTorch CUDA 12.9 的索引源。

运行项目

激活虚拟环境后,运行主程序:

python main.py

项目结构

. ├── pyproject.toml # 项目配置和依赖管理 ├── main.py # 主程序 ├── model/ # 模型文件目录 └── README.md # 本文件

注意事项

  • 确保系统已安装 CUDA 12.8 或更高版本
  • 首次安装可能需要较长时间,因为需要下载大型依赖包
  • 如果遇到依赖冲突,uv 会使用 unsafe-best-match 策略自动解决

About

DeepSeek-OCR-vLLM-offline