系列文章目录
本文专门开一节写Lora相关的内容，在看之前，可以同步关注：
stable diffusion实践操作
文章目录
- 系列文章目录
- 前言
- 一、什么是lora?
- 1.1 lora 定义
- 1.2 lora的基本原理
- 1.2 通过分层控制lora
- 二、作用：
- 2.1 复刻人物特征
- 2.2 固定人物的动作特征
- 2.3 确定某种画风
- 三、lora和embedding 区别：
- 3.1 文件大小不一样
- 3.2 lora比embedding要好的多
- 3.3 embedding是文字描述，lora是真实的物品描述。
- 四 、lora使用
- 4.1 用lora配套的大模型
- 4.2 .有触发词一定要使用触发词
- 4.3 正确设置lora的权重
- 4.4 新手不要混用lora
- 五、 收集到的lora模型
- １、baihuaniang_1.0
- 2、long.safetensors 中国龙
- 3、xiaorenshu_v2.0.safetensors
- 4、Lora_GuoFeng3_Lora_v3.2_Lora_big_light.safetensors
- 5、Lora Real dragons _dragon_real_base_V1.safetensors
- 6、korean doll likeness
- 7、Beautiful_Dress连衣裙
- 8、qianlijiangshanXXMix-V1.0
- 总结
前言
Lora是微调模型，某品牌汽车（特斯拉），人物姿势（剪刀手），可以固定我们照片的特征：人物特征、动作特征、还有照片风格。
如果把基础模型比喻作一座房子的地基，那么Lora模型就好比在这个地基上盖起来的房子。我们通常也称为微调模型，用于满足一种特定的风格，或指定的人物特征属性。在数据相似度非常高的情形下，使用微调模型，可以节省大量的训练时间和训练资源，就可以产出我们需要的结果.，常见的后缀是ckpt,safetensors,pt，大小100M左右。
Lora是可以叠加使用的，叠加后会非常变态的。
Lora之间一样用英文逗号隔开，每个Lora后面都有数字，这是用来调整这个Lora的权重的。
正常情况下是1，我们一般只会去降低权重，因为增加权重照片可能就会变得奇奇怪怪，每个Lora设置的权重不一样，出来的照片就会不一样，想要生成一个好看的小姐姐，就要多去尝试不同的权重组合，并且lora有提示词，如下：
<lora:Beautiful_Dress_1.0:0.6>,dress
模型分两种，一种是sd大模型，一种是类似Lora一样的小模型
国内的是：https://www.liblibai.com
国外的是：https://civitai.com
一、什么是lora?
1.1 lora 定义
LoRA，英文全称Low-Rank Adaptation of Large Language Models，直译为大语言模型的低阶适应，这是微软的研究人员为了解决大语言模型微调而开发的一项技术。
1.2 lora的基本原理
大模型，比如，GPT-3有1750亿参数，为了让它能干特定领域的活儿，需要做微调，但是如果直接对GPT-3做微调，成本太高太麻烦了。
LoRA的做法是，冻结预训练好的模型权重参数，然后在每个Transformer（Transforme就是GPT的那个T）块里注入可训练的层，由于不需要对模型的权重参数重新计算梯度，所以，大大减少了需要训练的计算量。
如下图，lora在PLM旁边增加一个旁路，做一个降维再升维的操作，训练的时候固定PLM参数，只训练降维矩阵A和升维矩阵B，模型输入与输出维度不变。输出时将BA与PLM的参数叠加
在微调sd的情况下，lora可以应用于将图像表示于描述他们的提示词相关联的交叉注意层。
也就是说lora在不干涉神经网络运算层的情况下，插入一些低阶运算层，通过训练这些人低阶运算层来影响出图
顺便看看和超网络的区别，下面是超网络，看出来两者区别没有：
研究发现，LoRA的微调质量与全模型微调相当，我愿称之为神器。
要做个比喻的话，就好比是大模型的一个小模型，或者说是一个插件。
LoRA本来是给大语言模型准备的，但把它用在cross-attention layers（交叉关注层）也能影响用文字生成图片的效果。
1.2 通过分层控制lora
（TB）
二、作用：
2.1 复刻人物特征
对人物和物品的复刻，只要挂载lora，就可以九成九的复刻指定人物的特征。
比如，你下载了光头强的Lora，只要你加载了它，那么你生成的任何一张图片都是他的样子。
2.2 固定人物的动作特征
2.3 确定某种画风
文章出处登录后可见！
