【Stable Diffusion】基本概念之lora

1.基本概念
Lora,英文全称“Low-Rank Adaptation of Large Langurage Models”,直译为大语言模型的低阶适应,这是微软的研究人员为了解决大语言模型微调而开发的一项技术
2.作用
只要是图片上的特征都可以提取并训练
(1)对人物/物品的脸部特征进行复刻
(2)生成某一特定风格的图像
(3)固定动作特征
3.embedding和Lora的区别
embedding文件小,保存的信息量小,对人物的还原、对动作的指定、对画风的指定效果一般;Lora文件大,保存的信息量大,对人物的还原、对动作的指定、对画风的指定效果比较好。
embedding一般还原的人物为动漫人物,真人一般用Lora比较好,当embedding和lora可以做同一件事时,优先选择lora,但三视图、多视图embedding有做好的文件,Lora实现就会比较难

3.lora文件下载
打开https://civitai.com/
右方的筛选按钮——LoRA

然后就可以选择相应的画面点击后,再在相应的页面点击Download Latest
以这个生成连环画风格lora为例,点击页面后,再点击Download Latest就可以将lora模型下载下来了

得到文件Xiaorenshu_v20.safetensors
就是生成小人书画风的lora了

4.lora文件存放位置
以存放在D盘为例
D:\stable-diffusion-webui\models\Lora
5.在WebUI中打开lora
在页面的图片中点击“i”按钮,可以看到图片的相应信息,可以发现,作者这里没有写配套训练大模型,可以去评论区查看其他人使用的大模型作为参考大模型

但有的页面有作者配套训练的大模型,所以最好是使用作者配套训练的大模型

在WebUI的Stable Diffusion checkpoint中任意选择一个大模型,例如“chilloutmix_NiPrunedFp32Fix”

不加载lora,在Prompt中输入“masterpiece, high quality”点击“Generate”生成的效果为:
在WebUI页面中点击“Show extra networks”

可以发现Prompt变为:

表示这是一个“lora”,名称为“Xiaorenshu_v20”,使用比重为“1”
点击“Generate”,这时生成的图像为:

这样就可以得到“小人书”风格的人物图像了

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
青葱年少的头像青葱年少普通用户
上一篇 2023年6月13日
下一篇 2023年6月13日

相关推荐