快速体验 Qwen2.5-vl-7B,由 CNB 提供算力支持,无需等待,零帧起步。
Fork 本仓库到自己的组织下云原生开发 启动远程开发环境10-20 秒后,进入远程开发,在命令行中输入以下命令安装依赖pip install git+https://github.com/huggingface/transformers@f3f6c86582611976e72be054675e2bf0abb5f775 pip install accelerate pip install qwen-vl-utils pip install 'vllm>0.7.2'
vllm serve /workspace/models/ --port 8000 --host 0.0.0.0 --dtype bfloat16 --limit-mm-per-prompt image=5,video=5