域适应加雾代码：通过《bringing old photos back to life 》

内容

有些话我想说：

概括

介绍

1相关工作

1.1大气散射模型

1.2图像加雾

1.2.1基于传统方法的雾图合成

1.2.2基于深度学习的雾图合成

1.2.3图像处理软件加雾

2.方法

2.1图像到图像的翻译

2.2变分自编码器

2.3 域适应雾图合成

3.实验

4结论

附录：开源代码和姐妹文章（去雾）

有些话我想说：

在研究去雾的过程中，我发现数据集问题是一个比较难的问题，所以我做了给数据加雾的任务。当涉及到雾化任务时，有时只需很少更改一些中间代码就足够了。总结后，我将其作为水文发表。因为仓促而忽略，文章中难免有一些错误，比如公式序号、粗图等，但无伤大雅。希望能给大家带来一些想法或灵感。

代码我放百度云，部分核心中文版论文我放这个博客，英文发表的全文我放百度云。其中一些包含公式等。为了节省时间，我将截图代替，不便之处敬请见谅！中文版为较早草稿，以英文版为准。参见附录

下面开始正文。

概括

数据集问题一直以来制约着深度学习去雾的发展，因为受到环境和设备等因素，有雾和无雾的图像对极难获得。为缓解该问题，本文提出一种新的基于域适应的雾霾场景生成算法，利用变分自编码器将合成雾图对和真实雾图编码到潜空间，合成雾图直接指导模型学习清晰图像到有雾图像的转换，真实雾图则通过对抗损失用于校正模型的编码潜空间，尽可能使解码出的雾图接近真实雾图。通过对模型的加雾结果与加雾软件、传统通过大气模型等方式进行对比，本文生成的雾图更加逼真；使用传统方法对合成雾图进行去雾，SSIM和PSNR均有所提升，说明生成雾图的合理性;通过一些无参照雾浓度评测算法也证明本文加雾结果的有效性。

介绍

去雾一直以来是计算机视觉中的重要任务，但是人们通常只关注如何去雾，而很少关注如何合成雾和如何合成更真实的雾。这在深度学习快速发展的今天更加重要，拥有大量高质量的数据能够使模型表现更好，然而深度学习去雾中数据集大多是人工合成的。这些合成的数据集不能完全模拟出真实世界中的雾，因此，使用此类数据集的深度学去雾模型难以在真实雾图上表现良好。目前，雾图合成主要有两种方法。一是基于大气模型[9,10]合成,首先测量或者估计出图像对应的深度图，利用大气模型合成雾图[27,29]。由于深度图难免存在误差，且大气模型难以完全模拟真实环境，因此合成的雾图有一定的缺陷。二是基于深度学习的加雾算法，利用成对数据训练模型，可实现端到端的合成雾图。由于基于深度学习的方法同样需要训练数据，因此合成的雾图和真实雾图也有一定的偏差。三是一些其他的方法，如软件合成，渲染等。为缓解以上问题，本文提出域适应雾图合成算法。该算法基于变分自编码器和生成对抗网络，通过生成对抗损失将合成雾图向真实雾图进行域适应，从而以端到端的方式生成更加逼真的雾图。本文的主要贡献包括以下方面： (1)提出一种新的域适应雾图合成算法，产生较为真实的雾图 (2)提出使用生成对抗损失将合成雾图域向真实雾图特征进行域适应。

1相关工作

1.1大气散射模型

1.2图像加雾

1.2.1基于传统方法的雾图合成

传统方法的雾图合成，主要通过公式(1)和公式(3)，加雾流程如图(3)所示。室内雾图合成可用的数据集有Middlebury Stereo[36-40]、NYUv2数据集等，后者源数据是通过Microsoft Kinect获取的，经过对深度缺失值的填充以及标记等后处理的图片有1499张，通常这些数据可以用来进行深度估计、语义分割等任务。室外雾图合成可用的数据有HAZERD数据集，以及Cityscapes[41]、KITTI [ 42]

Fig . 3 Haze image generation based on traditional method.

图3基于传统方法的雾图生成

在传统雾图像生成的基础上，通过读取深度图和原始清晰图像在线合成雾图像。

1.2.2基于深度学习的雾图合成

生成对抗网络GAN [18]在提出后，受到广泛的关注，并可用来进行雾图合成。经典的图像翻译模型pix2pix[1]模型由多分辨率生成器，多尺度判别器构成：判别器能够对生成结果进行多尺度判别，判别器使用Patch GAN结构，最终结果为其输出的判别矩阵的平均，生成器的基础结构则是U-Net[21]，能够生成高分辨率和清晰的结果；但是该方法是监督学习，若用来进行加雾，则能利用的数据就是人工合成的雾图对，其训练出来的结果和真实雾图也会有一定的差异。著名的非监督图像转换方法Cycle-GAN[4]经提出后，为不成对数据训练提供了一个有效的损失函数循环一致性损失，通过该损失，可以利用真实雾图进行加雾，利用GAN加雾的算法通常增加额外损失[1, 23,25,26] , 增加了需要调节的超参数和训练的难度.另外GAN模型通常需要更多的数据进行训练，数据的质量对模型的训练效果有很大影响。无监督方式主要利用循环一致性损失，无绝对映射的训练方式会使产生的结果出现非期望转换风格，有监督加雾模型又陷入雾图对的问题，利用合成雾图会导致加雾结果不真实。

1.2.3图像处理软件加雾

Adobe lightroom 中含有一个去朦胧功能，可以将图片清晰化，当将其值调为负时，则会产生雾的效果。本文中通过此软件的去朦胧功能对图片进行加雾，用于对照实验.

2.方法

2.1图像到图像的翻译

图像到图像的翻译[1,2]是指通过学习将图像从一个域映射到另一个域。监督学习的图像翻译需要成对数据集，对应的图像翻译算法有pix2pix[1]模型，pix2pixHD[2]模型等.非监督学习的图像翻译[3,4]不需要成对数据集，数据的收集变得简单。图像翻译需要学习不同域图像的联合分布.在无监督环境中，数据由来自两个不同域中的两个边缘分布组成，从边缘分布推断联合分布是一个高度不适定问题，需要在联合分布的基础上加入额外的假设，如共享潜空间假设[3]、循环一致性损失[4]等。如文献[4]中提出的Cycle- GAN模型，解决了数据不匹配问题，文献[3]中提出了基于生成对抗网络和变分自编码器的UNIT框架，从共享潜空间角度对每个域使用VAE-GAN进行建模，进行两域之间样本的学习.

2.2变分自编码器

变分自编码器(VAE)从变分和贝叶斯理论出发，期望编码向量的后验分布尽量接近多元正态分布，本质是在常规自编码器的基础上，对编码的结果加上了“高斯噪声”，使得解码器能够对噪声有鲁棒性，利于解码结果多样化；同时，使用KL散度损失约束编码结果的分布靠近正态分布，相当于对编码器施加正则项，如图所示2。图像重建时，从潜空间进行采样操作不可导，无法进行梯度下降.假设数据映射到多元正态分布，