Stable Diffusion XL webui dreambooth插件 Linux安装,训练LoRA(保姆级教程)

文章目录

  • Stable Diffusion XL webui dreambooth插件 Linux安装(保姆级教程)
    • 前言
    • 安装
      • 下载dreambooth仓库
      • 下载SDXL预训练模型其他文件
        • 下载前注意
        • 下载前准备
        • 下载

Stable Diffusion XL webui dreambooth插件 Linux安装(保姆级教程)

前言

在安装这个插件之前,我已经安装了SDXL webui,tagger插件,具体安装操作可以参考之前的文章: SDXL webui、tagger插件。
之前已经安装了tagger插件,用来反推训练图像的提示词,接下来,我们可以利用dreambooth插件来训练我们的LoRA模型了。

安装

下载dreambooth仓库

只需在webui中的extensions下输入https://github.com/d8ahazard/sd_dreambooth_extension就可以了。
安装自动安装完后,如果linux终端出现以下信息:
一般是bitsandbytes包没有安装下来,可能是默认安装windows版本的,那我们自己手动安装即可:

pip install bitsandbytes==0.41.1 --target /stable-diffusion-webui/venv/lib/python3.10/site-packages/

--target是为了将其安装到SD webui的虚拟环境的路径下。

下载SDXL预训练模型其他文件

下载前注意

我这里是直接以SDXL为底模型,没有用C站上很火的其他模型来训练LoRA。
在训练LoRA要用到SDXL的tokenizer等文件,一般webui会自动下载,但是因为我这里的Linux服务器没有设代理,huggingface又被墙了,所以需自己手动下载。
dreambooth在训练以SDXL为底模的LoRA时,会加载两个tokenizer和两个text_encoder,建议用sdxl-base-1.0模型来训练,因为效果更好的sdxl-refiner-1.0的huggingface仓库只提供了tokenizer_2,text_encoder_2。

(PS:我之前想将base的tokenizer,text_encoder用到refiner上,但是会在线性层的维度上报错,暂时没有深究网络结构,所以不敢枉然修改,保险起见用base版本)

下载前准备

首先,在/stable-diffusion-webui/models/dreambooth/,新建一个文件,文件名就是你的LoRA模型名称,在该文件夹下新建一个working文件夹,用来存放下载的文件

cd /stable-diffusion-webui/models/dreambooth/
mkdir Your_LoRA_name
cd Your_LoRA_name
mkdir working
下载

然后对应下图,在sdxl-base-1.0仓库下载以下文件:

考虑到节省储存空间,vae、unet文件夹下的预训练模型,可以只下载safetensors文件。

敲黑板!!!
记得一定要完全按照仓库里的文件命名,不要自己随意修改。在下载文件夹里的文件时,文件命名似乎会默认加上文件夹的名称,比如,text_encoder文件夹中有个config.json文件,下载完后会变成text_encoder_config.json,自己要去掉前面的text_encoder_,如果不一样,会造成之后训练时会因为读取不到而报错。

至此,就安装完毕了。

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
乘风的头像乘风管理团队
上一篇 2023年12月27日
下一篇 2023年12月27日

相关推荐