DALL·E 1
DALL·E 1可以看成是VQ-VAE和文本经过BPE编码得到的embedding
AE（Auto Encoder）
encoder decoder结构，AE在生成任务时只会模仿不会创造，所有有了后面的VAE
VAE(Variational AutoEncoder)
不再学习固定的bottleneck特征，而开始学习distribution
VQ-VAE(vector quantize)
把VAE的distribution的离散化成一个codebook(K*D，K一般是8192个聚类中心，D是512或者768)， Beit也用了VQ-VAE的codebook。
VQ-VAE2
层级式
DALL·E 2
DALL·E 2本身来自于Hierarchical Text-Conditional Image Generation with CLIP Latents这篇，DALL·E 2一句话说就是prior(CLIP)+decoder(GLIDE)。CLIP不过多说了，GLIDE后面展开了很多细节
这篇里面的技术细节实际上比较少，感觉Yi Zhu老师在视频中最快速地普及了相关背景，后面也是沿着这个思路做了一些笔记：
DDPM(Denoising Diffusion Probabilistic Model)
DDPM来自于Denoising Diffusion Probabilistic Model 20年这篇paper把它在高分辨率图像生成上调试出来了，从而引导出了后面的火热，其实早在15年Deep Unsupervised Learning using Nonequilibrium Thermodynamics这篇里数学推导基本有了，DDPM里有几个要点：
- 文章中提到的
是方差，想预测reverse process（
是高清图像）中q的变化需要用到重采样技巧，需要预测均值和方差即可。而根据之前Deep Unsupervised Learning using Nonequilibrium Thermodynamics中的推导，预测均值即可，方差都不用了
# 4. Compute coefficients for pred_original_sample x_0 and current sample x_t
# See formula (7) from https://arxiv.org/pdf/2006.11239.pdf
pred_original_sample_coeff = (alpha_prod_t_prev ** (0.5) * current_beta_t) / beta_prod_t
current_sample_coeff = current_alpha_t ** (0.5) * beta_prod_t_prev / beta_prod_t
# 5. Compute predicted previous sample µ_t
# See formula (7) from https://arxiv.org/pdf/2006.11239.pdf
pred_prev_sample = pred_original_sample_coeff * pred_original_sample + current_sample_coeff * sample
- 想要预测reverse process中
预测它们之间的残差就够了，经过推导目标函数长成下图这样：
- 同时强调的一点，DDPM在预测残差
中会引入time embedding，也就是恢复前期生成大致轮廓，后期生成细节。但是DDPM的部署和训练过程中需要多轮很慢很贵。
Improved DDPM
Improved DDPM来自于OpenAI的Improved Denoising Diffusion Probabilistic Models，几个要点：
- 均值和方差都预测一下效果会更好（原文中3.1. Learning Σθ(xt, t)）
- 线性的schedule换成余弦的schedule（原文中3.2. Improving the Noise schedule）
- DDPM在scale后效果比较好
DENOISING DIFFUSION IMPLICIT MODELS，这个工作后面叫DDIM
这篇没有细看，从摘要看简单来说就是把采样过程给加速了，下面截图来自文章：
Diffusion Models Beat GANs on Image Synthesis
这也是发现DDPM在scale后效果后比较好OpenAI继续加大投入，这篇里面管自己的模型叫做ADM(ablated diffusion model)：ADM refers to our ablated diffusion model, and ADM-G additionally uses classifier guidance;For upsampling, we use the upsampling stack from Nichol and Dhariwal [43] combined with our architecture improvements, which we refer to as ADM-U，几个要点：
- 模型变大变复杂，we match
BigGAN-deep even with as few as 25 forward passes per sample - Adaptive Group Normalization，We also experiment with a layer [43] that we refer to as adaptive group normalization (AdaGN), which incorporates the timestep and class embedding into each residual block after a group normalization operation [69], similar to adaptive instance norm [27] and FiLM [48].
- 这篇里面用了Classifier Guidance，Classifier Guidance的细节下面说
Classifier Guidance
Classifier Guidance这篇出现前diffusion model的在IS(Inception Score)和FID(Frechet lnception Distance)上的分数比不过GAN，Classifier Guidance的出现改变了这个局面，先来写写IS和FID的定义：
- IS(Inception Score)：IS 实际上是在做一个 KL 散度计算，具体公式为
其中，
是指对一张给定的生成图像x，将其输入预训练好的Inception-v3 分类网络后输出的类别概率，
则是边缘分布，表示对于所有的生成图像来说，这个预训练好的分类网络输出的类别的概率的期望。如果生成图像中包含有意义且清晰可辨认的目标，则分类网络应该以很高的置信度将该图像判定为一个特定的类别，所以
- FID(Frechet lnception Distance)：加入了真实样本与生成样本的比较它同样是将生成样本输入到分类网络中，不同的是，FID 不是对网络最后一层的输出概率P(y|x)进行操作，而是对网络倒数第二层的响应即特征图进行操作。具体来说，FID 是通过比较真实样本和生成样本的特征图的均值和方差来计算的
- sFID: 在FID度量中增加spatial信息，除了标准FID引入的最后一层pooling之外，还额外引入了前边的7层conv的feature map来计算mean和covariance。
继续回到Classifier Guidance这个方法，这里其实是通过牺牲一部分图片的多样性来换取真实性。这里的guidance一般是一个在imagenet上预训练好的分类器，这个分类器的梯度刚好暗含了是否包含某类物体，具体来说，对于DDPM是把梯度加到了均值上；对于DDIM是把梯度加在了残差上，下图来自Diffusion Models Beat GANs on Image Synthesis：
CLASSIFIER-FREE DIFFUSION GUIDANCE
这篇的改进顾名思义，把Classifier Guidance里的Classifier通过有没有y：这里的y就表示guidance的信号，原来是个classifier，现在换成有这个文本就是y，没有这个文本就是空，来学这种距离。好处当然是摆脱了分类器限制，但缺点是有没有这个条件增加了forward的成本
GLIDE (Guided Language to Image Diffusion for Generation and Editing)
Glide来自于GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models这篇，有了上面那堆铺垫才能理解这篇，无非是把ADM改进成了Classifier Free Guidance，也就是摘要里提的 CLIP guidance and classifier-free guidance，重点关注下Guidance是怎么加进去的，直接看文中2.4部分即可：
Stable Diffusion原理
来自于High-Resolution Image Synthesis with Latent Diffusion Models(https://ommer-lab.com/research/latent-diffusion-models/)，Stable diffusion更像是商品名称，Latent diffusion更接近算法方案的描述，这俩说的是一个东西。
- 图像像素空间到latent空间转化的AutoencoderKL
- latent空间中的Denoising UNetModel
- 引入文本prompt特征的FrozenOpenCLIPEmbedder
下面对代码进行一些分析
AutoencoderKL
使用https://huggingface.co/stabilityai/stable-diffusion-2的参数，对几个样例图像做encode和decode的结果，会发现decode后和原始图像非常接近。这部分代码在https://github.com/Stability-AI/stablediffusion/blob/main/ldm/models/autoencoder.py#L13
Denoising Unet
UNet中的prompt 特征的引入使用了cross attention，代码在https://github.com/Stability-AI/stablediffusion/blob/main/ldm/modules/diffusionmodules/openaimodel.py#L277。参考原文中的描述，y就是文本，KV就是文本学到的intermediate layers，用Q对应的UNet embedding来去找KV
Prompt的encoding
文中采用了ViT-H/14 on LAION-2B的embedding，文本的embedding tensor是高维的（77*1024），并没有清晰的图像语义信息，描述的语义相近的文本的embedding l2距离并不一定相近
笔记参考了以下信息
- 【DALL·E 2（内含扩散模型介绍）【论文精读】】https://www.bilibili.com/video/BV17r4y1u77B?vd_source=e260233b721e72ff23328d5f4188b304
- https://kexue.fm/archives/9119
- Denoising Diffusion Probabilistic Models
- Improved Denoising Diffusion Probabilistic Models
- Hulu书
- GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models
- Stable Diffusion：High-Resolution Image Synthesis with Latent Diffusion Models
文章出处登录后可见！
