Stable Diffusion 笔记一：网络结构拆解

SD由三大组件组成：VAE，CLIP，Unet。

一VAE：

VAE是Variational Autoencoder的缩写，中文名变分自编码器，是一种基于深度学习的生成模型。

１潜空间图片与像素图片：

像素图片是正常使用的图片，通常包含主体的物体人物角色，和多余的部分空白背景等与主体无关的噪声。

潜空间图片可以理解为是像素图片在高维空间的另一种表达，是像素图片的一种压缩表示。

SD生成的图片是潜空间图片（Latent image）而不是直接使用的图片（Pixel image）。

２VAE编码和解码的过程　

VAE编码器的部分作用是将像素图片编码转为潜空间图片，SD在此潜空间图片上进行迭代生成，迭代后的图片再由VAE解码器部分转换成像素级图片。

编码过程进行了８倍下采样操作，图片尺寸由512变为64，缩小8倍。

解码过程进行了８倍上采样操作，图片尺寸变为512，与目标的原始尺寸一致。

即编码前的图片尺寸与解码后的图片尺寸是match的。

３其他：

潜空间图片通道数目为４是先人实验结论得出的。

４　VAE编码过程：

原始像素图片经过３个　ResidualBlock＋DownSample　进行了8倍下采样操作。

再经注意力部分（Attention　Block）转换为潜空间图片。

VAE主要的结构是这个注意力模块，存疑？

这个地方也是耗费大量显存的部分。

解码的过程是这个流程反过来。

二CLIP

CLIP的将promt转换成可以用于SD用于生成图片的词向量格式。

1 流程：

文字输入到SD的提示词如：a girl in white dress,

使用tokenizer跟进词库将单词转换为数字即tokens，如：a girl in white dress, –>[0,21,5,128,64]

再通过embedding将tokens转换成768维的特征向量。每一个数字转换成768维的向量。

最后通过Transformer Block 将向量变换转换成可以输入到后续unet的feature map。

2 Transformer 分为 Transformer Encoder 和  Transformer Decoder

Clip中只使用了Transformer Encoder的结构。

三U-net

1网络结构图：

U-net共套了4成这样的网络结构，第4层没有中间的middle Block：Down–>Up的部分。 

2注意力模块的两种形式：

 自注意力模块的输入和输出都是自己。

交叉注意力模块的输入一部分是自己，另一部分是其他的一些信息。

3Transformer Block 的encoder和decoder

 Encoder结构只使用了自注意力模块，Decoder结构使用了两种注意力模块。

Unet里使用的是TransformerDecoder