CycleGAN的基本原理以及Pytorch框架实现

目录

GAN原理及Pytorch框架实现GAN（比较容易理解）

Pytorch框架实现DCGAN（比较容易理解）

1.了解CycleGAN

CycleGAN主页：https://junyanz.github.io/CycleGAN/

（1）什么是CycleGAN 

• CycleGAN是实现不同图像之间风格的转换，并且样本数据无需配对即可实现转换。
• CycleGAN的创新点在于能够在源域和目标域之间，无须建立训练数据间一对一的映射，就可以实现这种迁移。 
• CycleGAN特点：
  • CycleGAN特点就是通过一个循环，首先将图像从一个域转换到另一个域，然后，再转回来，如果两次转换都很精准的话，那么，转换后的图像应该与输入的图像基本一致。通过这样的的一个循环，CycleGAN将转换前后图片的配对，类似于有监督学习，提升了转换效果。

比如：下面是斑马和马之间的风格转换，夏天和冬天之间风格的转换。 

（2）CycleGAN的应用场景 

        CycleGAN主要用于Domain Adaption（域迁移）领域，如image style transfer图片风格迁移，物体转换，季节转化，图像增强领域取得了不错的效果。

 2 CycleGAN原理

（1）整个模型

（2）优化目标 

         损失函数包含如下两部分：

（3）训练生成器和判别器

（1）训练生成器

（2）训练判别器

3.CycleGAN的网络结构 

（1）生成器模型

        在CycleGAN的原论文中提到，对于生成器，如果输入的图像分辨率为:128 X 128大小的，则在网络中使用6个residual blocks；如果输入的图像分辨率为:256 x 256大小或者更大的，则在网络中使用9个residual blocks。

原论文的网络模型结构

        看一下原论文给出的结构（很重要）：

解释其中的术语（如有解释不对的地方，请指出）： 

• 首先对于输入图像使用的卷积：
  • Conv2d: out_channels = k，kernel_size = 7 x 7，stride = 1
  • Norm: InstanceNorm(理解深度学习框架中的InstanceNorm)
  • 激活函数：ReLU
• 第二个卷积（dk表示进行下采样(downSampling)，输出通道数为k）：
  • Conv2d: out_channels = k, kernel_size = 3 x 3, stride = 2
  • Norm: InstanceNorm
  • 激活函数：ReLU
• 注意：上面的卷积中的padding_mode = “reflect”(关于padding_mode的方式有哪些)
• residuals blocks（Rk表示使用的残差连接，并且所有的residual blocks的通道数都为k）:
  • 每个residuals blocks中包含两个3 x 3的卷积，out_channles = k;
    • Norm: InstanceNorm
    • 激活函数：ReLU
• 最后的卷积输出(uk表示上采样(UpSampling)，通道数为k)：
  • ConvTranspose2d: out_channels = k, kernel_size = 3 x 3, stride = 2
  • Norm: InstanceNorm
  • 激活函数：ReLU

        对于生成模型的结构整体是上面样子的，但是这里网络包含输入的图像分辨率为128 x 128大小的结构和输入为256 x 256或者更大的：

• 对于输入为128 x 128大小图像分辨率的网络结构

   

  • 

• 对于输入为256 x 256或者更大图像分辨率的网络结构

  •  

        提示：关于在搭建网络模型过程中卷积所使用的通道数，还是根据实际的 情况来，不一定一定要像论文中给出的：64->128->256->256->256->256->256->256->256->256->256->256->128->64->3。但是一定要保证最后输出的通道数为3，因为我们就是输出一张转换之后的图像。（在下面给出的代码中，还是按论文给定的来）。

        开始使用Pytorch搭建模型结构…… 

（2）判别器模型

        对于判别模型，我们这里输入的图像分辨率大小为256 x 256 ，

        判别模型的网络结构简洁很多，原论文给出的判别模型结构说明如下：

 解释其中的术语（如有解释不对的地方，请指出）：

• 首先是输入（Ck表示进行卷积，通道数为k）:
  • Conv2d: kernel_size = 4 x 4，stride = 2
  • 这里并没有使用InstanceNorm;
  • 激活函数：LeakReLU(negative_slope=0.2)
• 中间层使用的通道数:128 -> 256 -> 512
• 最后输出：
  • 由于判别模型是判别一张图像的真假，所以使用二分类激活函数作为输出：
    • Sigmoid()

        开始搭建网络模型结构…… 

提示：详细理解CycleGAN的过程

4.CycleGAN代码实现 

提示：代码放在了Github上，本文的代码是参考下面这位博主写的，但是自己其中只是做了一下修改，并且其中加了一个mainWindows界面代码，方便后面训练的模型进行图像风格的转换。

参考博主的代码：https://b23.tv/QUc0CNb

本文的代码下载：https://github.com/KeepTryingTo/Pytorch-GAN

提示：从自然景转换到梵高风格的图像，还不错，但是在从梵高风格的图像转换为自然景时，不是很好（只训练了一个epoch） 。

5.mainWindow窗口显示转换之后风格图

提示：这里编写了一个显示生成器显示图片的程序（mainWindow.py），加载之前训练之后保存的生成器模型，点击要生成的风格图像按钮，之后即可使用该模型进行风格转换，如下：

（1）运行mainWindow.py 初始界面如下

 （2）转换风格过程

 

 

6.数据集下载和官方代码 

CycleGAN数据集下载：https://people.eecs.berkeley.edu/~taesung_park/CycleGAN/datasets/

本文训练的CycleGAN生成模型下载：

链接：https://pan.baidu.com/s/18S81Uje87fSeWnz2q_FXTQ 
提取码：sg00

CycleGAN官方代码：https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix