logo
0
0
Login
add README.md

Run Qwen2.5-vl-7B via CNB

badge

快速体验 Qwen2.5-vl-7B,由 CNB 提供算力支持,无需等待,零帧起步。

快速体验

通过云原生开发体验

  1. Fork 本仓库到自己的组织下
  2. 点击 云原生开发 启动远程开发环境
  3. 10-20 秒后,进入远程开发,在命令行中输入以下命令安装依赖
pip install git+https://github.com/huggingface/transformers@f3f6c86582611976e72be054675e2bf0abb5f775 pip install accelerate pip install qwen-vl-utils pip install 'vllm>0.7.2'
  1. 启动!
vllm serve /workspace/models/ --port 8000 --host 0.0.0.0 --dtype bfloat16 --limit-mm-per-prompt image=5,video=5
  1. 自动穿透 8000 端口,访问即可调用。

致谢

CNB

Qwen2.5-VL