腾讯云 高性能应用服务(HAI) 是一款面向 AI 、科学计算的 GPU 应用服务产品。
本教程介绍如何通过 CNB 和 Docker 将 deepseek 部署到 HAI 上。
构建并发布基于 deepseek 开发的镜像,也可以在 cnb deepseek 仓库中选择封装好的 deepseek 镜像,如 docker.cnb.cool/examples/ecosystem/deepseek/1.5b:latest。
登录 HAI 控制台,点击 新建。
选择应用 的 基础环境 栏选择 Ubuntu 20.04。
其他表单项按需选择、输入,创建实例。
创建成功后,腾讯云会发站内信,里面有默认用户名和密码,可用于ssh登录。
在实例详情页的端口配置中开通 11434 和 8080 端口。
11434 是 ollama 提供的 deepseek 服务端口,8080 是 open-webui 的 web 访问端口。
用前面记录的默认用户名和密码,通过 ssh 客户端登录到 HAI 实例,
复制启动脚本 deploy.sh 到 HAI 实例,地址如 /app/deepseek/deploy.sh,执行如下命令:
sudo su
cd /app/deepseek/
chmod +x ./deploy.sh
./deploy.sh
启动 deepseek 容器后,可访问 http://{实例公网IP}:11434 查看 ollama 服务。
启动 open-weui 容器后等待约一两分钟,待容器状态为 healthy 后可访问 http://{实例公网IP}:8080 查看页面,进行对话。
也可以通过 CNB 流水线用 ssh插件 执行命令部署:
在私有或密钥仓库添加 yaml 文件记录实例的公网IP、账号和密码,例如:
# secret.yml
HAI_IP: xxx
HAI_USER: xxx
HAI_PASSWORD: xxx
# allow_* 等控制该文件的可访问范围
allow_slug: xxx
# .cnb.yml
.host-info: &host-info
host: $HAI_IP
username: $HAI_USERNAME
password: $HAI_PASSWORD
port: 22
main:
push:
# 引入上文中的 secret.yml 导出为环境变量
- imports: https://xxx/secret.yml
stages:
# 通过插件上传脚本,也可预先上传好
- name: trans shell
image: tencentcom/scp
settings:
<<: *host-info
target: /home/ubuntu/deepseek
source:
- ./deploy.sh
- name: exec shell
image: tencentcom/ssh
settings:
<<: *host-info
script: |
sudo chmod +x /home/ubuntu/deepseek/deploy.sh
sudo bash /home/ubuntu/deepseek/deploy.sh
启动 deepseek 容器后,可访问 http://{实例公网IP}:11434 查看 ollama 服务。
启动 open-weui 容器后等待约一两分钟,待容器状态为 healthy 后可访问 http://{实例公网IP}:8080 查看页面。