Datawhale X 魔搭 AI夏令营(一)

一. 生成模型的定义

二. 获得生成模型的步骤

三. 几种模型的对比

四. 从跑通最简单的Baseline开始

1.在魔搭社区开通阿里云PAI-DSW,创建PAI实例

2.下载baseline文件

git lfs install git clone https://www.modelscope.cn/datasets/maochase/kolors.git

3.安装 Data-Juicer 和 DiffSynth-Studio

Data-Juicer：数据处理和转换工具，旨在简化数据的提取、转换和加载过程

DiffSynth-Studio：高效微调训练大模型工具

进入kolor/baseline.ipynb执行以下命令

!pip install simple-aesthetics-predictor !pip install -v -e data-juicer !pip uninstall pytorch-lightning -y !pip install peforth lightning pandas torchvision !pip install -e DiffSynth-Studio
4. 调整prompt，设置想要的图片风格

其中：
正向描述词：你想要生成的图片应该包含的内容
反向提示词：你不希望生成的图片的内容

之后可以点击一键运行

5.代码原理

a. 使用Data-Juicer处理数据，整理训练数据文件

b. 使用DiffSynth-Studio在基础模型上，使用前面整理好的数据文件进行训练微调

c. 加载训练微调后的模型

d. 使用微调后的模型，生成用户指定的prompt提示词的图片

e. 创建并上传模型所需内容

6.将微调结果上传魔塔。

点击魔搭链接https://www.modelscope.cn/models,创建模型

就可以在自己的创空间中保存自己的结果了