https://github.com/ConardLi/easy-dataset 在 CNB.cool 的运行时
Easy Dataset 是一个专为创建大型语言模型(LLM)微调数据集而设计的应用程序。它提供了直观的界面,用于上传特定领域的文件,智能分割内容,生成问题,并为模型微调生成高质量的训练数据。
通过 Easy Dataset,您可以将领域知识转化为结构化数据集,兼容所有遵循 OpenAI 格式的 LLM API,使微调过程变得简单高效。
直接 fork 本仓库,点击 “开始” 按钮启动云原生 vscode 环境。执行下面的命令即可启动 Easy Dataset WebUI。
cd /root/easy-dataset/ && npm run start
在 CNB.cool 上创建一个私有仓库,启动云原生开发环境。
cnb-init-from https://cnb.cool/hex/ai/easy-dataset.git
重建云原生开发环境。执行下面的命令即可启动 Easy Dataset WebUI。
cd /root/easy-dataset/ && npm run start
Easy Dataset 会自动将数据集存储在 /workspace/local-db 目录下,您可以使用 git 方式进行管理。
请参考 帮助文档