Stable Diffuse AI 绘画之 ControlNet 插件及其对应模型的下载安装

一、简单介绍

Stable Diffusion是一个文本到图像的潜在扩散模型，由CompVis、Stability AI和LAION的研究人员和工程师创建。它使用来自LAION-5B数据库子集的512×512图像进行训练。使用这个模型，可以生成包括人脸在内的任何图像，因为有开源的预训练模型，所以我们也可以在自己的机器上运行它，如下图所示。

Stable Diffusion 是一个AI 绘图软件（开源模型），可本地部署，可切换多种模型，且新的模型和开源库每天都在更新发布，最重要的是免费，没有绘图次数限制。

Github 网址：GitHub – AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI

玩 Stable Diffusion，就一定要会玩 ControlNet，它是 Stable Diffusion 一个非常重要的扩展插件（sd-webui-controlnet），它不仅可以用来复制构图和人体姿势，还有其他很多强大的功能，要使用 ControlNet（sd-webui-controlnet），就必须先要学会怎么安装它。
ControlNet github 地址：https://github.com/lllyasviel/ControlNet
ControlNet-v1-1-nightly github 地址：https://github.com/lllyasviel/ControlNet-v1-1-nightly
sd-webui-controlnet
github 地址：https://github.com/Mikubill/sd-webui-controlnet

通过上面的方式，ControlNet 可以重用SD编码器作为一个深度，强，鲁棒和强大的骨干来学习不同的控制。许多证据(像这个和这个)验证了SD编码器是一个优秀的骨干。
注意，我们连接层的方式是计算效率高的。原始SD编码器不需要存储梯度(锁定的原始SD编码器块1234和Middle)。所需的GPU内存并不比原来的SD大多少，尽管增加了许多层。

所有的模型和检测器都可以从 our Hugging Face page下载。确保SD模型放在“ControlNet/models”中，检测器放在“ControlNet/annotator/ckpts”中。确保从 our Hugging Face page下载了所有必要的预训练权重和检测器模型，包括HED边缘检测模型、Midas深度估计模型、Openpose等等。