logo
0
0
Login
Forkfromexamples/ecosystem/deploy-deepseek-hai, ahead:main2 commits, behind:main4 commits
feat: 更新密钥文件引用并移除本地密钥文件

基于 deepseek 开发 ai 应用并持续部署到 HAI

腾讯云 高性能应用服务(HAI) 是一款面向 AI 、科学计算的 GPU 应用服务产品。

本教程介绍如何通过 CNB 和 Docker 将 deepseek 部署到 HAI 上。

1. 构建镜像

构建并发布基于 deepseek 开发的镜像,也可以在 cnb deepseek 仓库中选择封装好的 deepseek 镜像,如 docker.cnb.cool/examples/ecosystem/deepseek/1.5b:latest

2. 创建 HAI 实例

登录 HAI 控制台,点击 新建

选择应用基础环境 栏选择 Ubuntu 20.04

其他表单项按需选择、输入,创建实例。

创建成功后,腾讯云会发站内信,里面有默认用户名和密码,可用于ssh登录。

开通端口

在实例详情页的端口配置中开通 114348080 端口。

11434 是 ollama 提供的 deepseek 服务端口,8080 是 open-webui 的 web 访问端口。

3. 部署 deepseek

3.1 自行部署

用前面记录的默认用户名和密码,通过 ssh 客户端登录到 HAI 实例,

复制启动脚本 deploy.sh 到 HAI 实例,地址如 /app/deepseek/deploy.sh,执行如下命令:

sudo su cd /app/deepseek/ chmod +x ./deploy.sh ./deploy.sh

启动 deepseek 容器后,可访问 http://{实例公网IP}:11434 查看 ollama 服务。

启动 open-weui 容器后等待约一两分钟,待容器状态为 healthy 后可访问 http://{实例公网IP}:8080 查看页面,进行对话。

3.2 通过云原生构建部署

也可以通过 CNB 流水线用 ssh插件 执行命令部署:

在私有或密钥仓库添加 yaml 文件记录实例的公网IP、账号和密码,例如:

# secret.yml HAI_IP: xxx HAI_USER: xxx HAI_PASSWORD: xxx # allow_* 等控制该文件的可访问范围 allow_slug: xxx
# .cnb.yml .host-info: &host-info host: $HAI_IP username: $HAI_USERNAME password: $HAI_PASSWORD port: 22 main: push: # 引入上文中的 secret.yml 导出为环境变量 - imports: https://xxx/secret.yml stages: # 通过插件上传脚本,也可预先上传好 - name: trans shell image: tencentcom/scp settings: <<: *host-info target: /home/ubuntu/deepseek source: - ./deploy.sh - name: exec shell image: tencentcom/ssh settings: <<: *host-info script: | sudo chmod +x /home/ubuntu/deepseek/deploy.sh sudo bash /home/ubuntu/deepseek/deploy.sh

启动 deepseek 容器后,可访问 http://{实例公网IP}:11434 查看 ollama 服务。

启动 open-weui 容器后等待约一两分钟,待容器状态为 healthy 后可访问 http://{实例公网IP}:8080 查看页面。

About

部署 deepseek 到 腾讯云高性能应用服务 HAI

Language
Markdown89.6%
Shell10.4%