这是一个使用 vLLM 的深度学习项目,使用 uv 进行依赖管理。
下载模型文件
git clone https://cnb.cool/ai-models/deepseek-ai/DeepSeek-OCR model
uv venv --python 3.12
source .venv/bin/activate
uv pip install -e . --pre
这将安装以下依赖:
依赖配置会自动使用 vLLM nightly wheels 和 PyTorch CUDA 12.9 的索引源。
激活虚拟环境后,运行主程序:
python main.py
. ├── pyproject.toml # 项目配置和依赖管理 ├── main.py # 主程序 ├── model/ # 模型文件目录 └── README.md # 本文件
unsafe-best-match 策略自动解决