（Multi-Scale Deep Residual Learning-Based SingleImage Haze Removal via Image Decomposition-2020）阅读报告

概述

本文提出了一种基于深度学习的基于多尺度残差学习(MSRL)和图像分解的单幅图像去雾体系结构(简称MSRL- dehazenet)。我们将问题重新表述为图像基组件的恢复，而不是学习每对有雾图像与其对应的无雾图像之间的端到端映射，这是目前大多数基于学习的方法所采用的。在将雾霾图像分解为基础和细节分量的基础上，雾霾去除(或去雾)可以通过我们的多尺度深度残差学习和我们的简化U-Net学习来实现，这两种学习只针对雾霾和无雾基分量之间的映射，而细节部分则通过另一个学习过的卷积神经网络(CNN)进一步增强。此外，得益于我们深度残差CNN架构的基本构建块和我们简化的U-Net结构，特征图(通过提取结构和统计特征生成)和前一层的每一层都可以被充分保存并馈入下一层。从而避免了复原图像可能出现的颜色畸变。因此，通过对去雾基和增强的细节图像组件进行积分，得到最终的去雾(或去雾)图像。实验结果表明，与最先进的方法相比，所提出的框架具有良好的有效性。

主要贡献

根据最近发展起来的基于学习的单幅图像去雾方法的探索，大多数方法可能无法捕捉到雾霾图像的内在特征，可能会降低去雾图像的质量。为了在较低的运行时计算复杂度下获得较好的图像去雾效果，本文提出了一种新的深度CNN结构用于单图像去雾，即基于多尺度深度残差学习的单图像去雾网络(MSRL-DehazeNet)。

• 通过首先将模糊图像分解为基础和细节分量，可以通过学习CNN来实现雾霾去除，仅用于在模糊和无雾霾的基础图像分量之间进行映射，而在大多数现有方法中，细节部分可以单独进一步增强，以避免可能的模糊效果（或细节丢失）
• 为了在保持轻量级网络结构的同时学习多种与烟雾相关的图像特征，设计了如下深度模型。与目前使用的大多数单图像去杂深度模型显著不同，所提出的深度模型并行地集成了两种不同的CNN结构，即所提出的多尺度深度剩余CNN和所提出的简化U网的并行化；
• 为本文的多尺度深残差CNN设计构造块。因此，提出了一种新的构造块，与原始ResNet中使用的构造块不同。构建块将原始输入信号连接到图层及其多尺度特征。根据我们的实验，所提出的构建块将所有特征映射叠加到一个层，将有助于保留输入模糊图像的颜色信息。
• 此外，本文的CNN还继承了深度剩余学习的主要优势，例如防止梯度爆炸，同时避免梯度消失问题，以及快速收敛，同时，本文建议将图像分解为基础组件和细节组件。

此外，在用于单幅图像去叠的一般端到端深度模型中，每个完整图像（带有颜色和纹理信息）被送入网络进行模型学习。然而，训练过程可能无法很好地学习图像颜色信息，并且可能无法实现图像恢复的良好收敛。相比之下，该方法首先将每个图像分解为基本分量（包括颜色信息）和细节分量（包括纹理信息）。只使用每个图像的基本分量进行深度去噪模型学习。提出的MSRL-DehazeNet旨在学习多尺度特征，以更好地保留颜色信息，恢复基本图像分量。另一方面，通过学习的深度模型对细节图像分量进行增强，以预测增强因子。因此，与目前基于深度学习的模糊图像恢复方法相比，该方法有望获得更好的颜色信息。此外，通过整合增强的细节信息，可以产生更好的去雾效果 。

除雾过程

如图所示，本文提出的基于图像分解的多尺度深度残差学习的单图像去雾框架由四个阶段组成，包括：

1)图像分解的预处理阶段;

2)去雾阶段，利用MSRL-DehazeNet(或多尺度深残差CNN)生成去雾基图像分量;

3)基于本文提出的因子预测深度CNN模型的细节图像分量增强阶段;

4)融合去雾基图像组件和增强细节图像组件，实现最终去雾图像的生成阶段。

除雾模型

在本文的框架中，受我们之前的图像分解框架的启发，我们首先通过图像滤波，将输入的雾天图像分解为基本分量和细节分量。更具体地说，在提出的框架中使用的朦胧图像的基分量是指图像的低频(LF)部分。而图像的细节成分指的是图像的高频部分。 基于烟雾属于模糊图像中的低频成分(不同于雨的条纹),本文提出了保持烟雾和其他低频信息基础组件,同时保持图像细节(边缘/纹理/高频信息)组件的细节。为了实现这一目标，采用了著名的引导图像滤波器，该滤波器作为边缘保持平滑算子在线性时间内表现良好，因此，在我们的图像分解框架中使用了引导图像滤波器，也在RGB颜色空间中执行。此外，还解决了将图像分解为结构(或LF/base)组件和纹理(或HF/detail)组件的问题。然而，与所提出的框架不同的是，方法在不改变结构组件的情况下对纹理组件进行增强。

对于要去雾的输入朦胧图像I，我们对I进行引导图像滤波，得到基本分量Ibase和细节分量Idetail，使

其中Ibase = G (I)， G为引导图像滤波算子 ，从Ibase中去除雾霾成分，得到去雾的基组件D (Ibase)，对细节进行增强，得到增强的细节组件E (Idetail)。将去雾基与增强后的细节分量进行积分，得到最终去雾图像J(对于输入的雾天图像I):

多尺度深度残差学习网络的构建块

为了避免去杂过程中可能出现的颜色失真问题，本文建议通过快捷连接跨卷积层保留输入模糊图像的颜色信息。这可以通过将残差学习（图2）概念嵌入到我们的多尺度深度图像去叠框架中来实现。如图所示（在S=2的情况下），将剩余学习网络的构建块可以表示为：

其中S表示在网络中考虑的标度的数量，Fj表示要在第j标度中学习的残差映射，Wi_j表示第i层中第j标度的加权系数。通过考虑S=2的情况，公式变为

其中”∗” 表示卷积运算，σ表示激活函数。在我们的网络中，整流线性单元（ReLU）函数[44]也被用作激活函数。 此外，“+”操作集成了由连接层实现的三个项。同时由于这三个项目生成的特征图的深度不同，因此不使用中使用的元素加法，而是使用连接层堆叠所有特征图，然后将其送入下一层。

在提出的深度模型中，为了从输入的模糊图像中联合提取多尺度特征并保留颜色信息，我们建议将所有特征映射和原始输入叠加，以生成当前层的输出，这构成了所提出的MSRL DehazeNet的构建块

多尺度深度残差CNN和简化U-net结构的基本图像分量去雾

所提出的MSRL-DehazeNet（或多尺度深度残差CNN）旨在将输入的模糊基本图像分量转换为其对应的模糊删除的基本分量。MSRL-DehazeNet由结构特征提取、统计特征提取和图像回归三部分组成。这三个部分可以在下图中可视化，并描述如下。

第一部分即结构特征提取部分，由七层组成，如模型结构图所示，其中第一层是卷积层和8个内核大小为7×7的滤波器。此外，根据CNN的构造块，第二、第四和第六层是多尺度卷积层，其滤波器尺寸分别为7×7和5×5、5×5 和3×3和3×3和1×1。对于图4中第i部分中第j层的第k子层（第一部分为i=1）的每个子层和第j层的较大滤波器尺寸（j=2,4,6），将生成4个特征图（k=1），而对于第j层的较小滤波器尺寸（j=2,4,6）的每个子层，将生成8张要素图（k=2）。且MSRL-DehazeNet第一部分中的所有卷积运算都以ReLU函数作为激活函数。

为了避免去雾图像的颜色失真问题，充分保存前一层生成的feature map，并将其反馈到下一层。本文在结构特征提取部分采用了本文提出的启发深度残差学习的构建块(图1)来建立CNN，其中每个块都包含一个快捷连接和拼接层。整个CNN包括三个快捷键连接和三个连接层。更具体地说,通过考虑j层(j = 2, 4, 6,在图4中,作为一个例子),包括两个卷积子层Conv1_ j_k(具有ReLU函数)和一个快捷连接，假设x和y分别为该层的输入和输出向量，在本文的形式中，我们的这部分CNN的构建块可以由式(6)定义。

第二部分，即统计特征提取部分，是本文提出的简化U-Net，该U-Net由8层组成。一半底部的图4所示,我们简化的路径U-Net首先由两个卷积层(用Convi_ j j层在第i部分第二部分(i = 2)不同数量的过滤器和内核大小。每一个之后是一个ReLU和一个带有2 × 2步的3 × 3 最大池化 (maxpool_ j)操作，用于下采样。然后，使用包含32个滤波器的卷积层(带有ReLU)，其核大小为3 × 3。

简化的U网络的扩展路径由两个上采样步骤组成，每个步骤包括一个反卷积（或上卷积）层（Deconvi_j），然后是一个连接层（Concati_j），并从路径相应地下采样特征映射。在两个上采样步骤之间是一个卷积层（带有ReLU），它有16个内核大小为7×7的滤波器。在所提出的简化U-Net结构中，对于输入图像，收缩路径期间空间信息减少，而特征信息增加。然后，在扩展路径过程中，特征和空间信息通过一系列反卷积和连接操作与收缩路径的高分辨率特征相结合  ，。

第三部分，即图像回归部分，用于将用于特征提取（结构特征和统计特征）的前两条平行路径中的特征通道转换为去模糊的基础图像分量。这一部分由三层组成。两个卷积层具有3×3滤波器和32个输出通道，而最后一层是具有3×3滤波器和3个输出通道的反卷积层，以形成去雾基图像分量的RGB通道。

为了学习所提出的深度网络，我们将问题描述为模糊基础图像分量与其对应的模糊自由分量之间的映射。为了解决这个问题，我们打算学习一个关于损失函数l的映射函数f，如下所示：

其中表示为我们的MSRL DehazeNet训练的参数集，N为训练patch对的个数，f为每对训练patch之间的映射函数,。这里的一对训练patch包括从一个雾的基础部分中提取的patch Y j和从对应的无雾的基础部分中提取的patch X j。

去雾图像的重建

将去雾基分量D (Ibase)与增强的细节分量E (Idetail)进行积分，得到输入图像I的最终去雾图像J。D (Ibase)可由提议的MSRL-DehazeNet获得。此外，在去雾框架中，提出了利用非线性回归增强细节图像组件Idetail为:

其中M是与输入的雾蒙蒙图像I相关的因子，可以通过本文提出的深度因子预测CNN模型得到，如下图所示，本文提出的深度因子预测CNN由两个卷积层组成，然后进行均值运算。均值操作计算由前一层特征映射组成的张量的所有元素的均值。深度因子预测模型的输入是待去雾的原始朦胧图像。两个卷积层分别有32个核大小为11 × 11的滤波器和1个核大小为1 × 1的滤波器。第一层采用2 × 2的步长来缩小特征通道的尺寸，这将有助于降低计算成本;因此，通过计算输入特征图中所有元素的均值，可以得到细节图像成分增强的预测增强因子。

为了训练提出的深度因子预测CNN，采用均方误差函数作为损失函数，并将282555个图像对数据集中的户外训练集（OTS作为训练数据。对于一对训练图像，即干净（Ic）和相应的模糊（Ih）图像，我们应用相同的过滤操作来获得它们各自的细节分量，分别由Ic_detail和Ih_detail表示。然后，该训练图像对的增强因子M的基本真值可以通过， 其中ω×h×3表示三个通道的图像大小，（i，j，k）表示张量元素的坐标.该训练图像对的增强因子M是通过对两个张量的所有元素分割结果求平均来获得的。因此，可以获得模糊图像的一组训练对及其相应的增强因子，用于因子预测模型的学习。然后，对于输入的模糊图像I，可以相应地获得增强因子M，并且可以通过等式（8）获得细节图像分量。最终可通过式（4）获得去雾图像J 。

实验结果

在PSNR (IN db)和SSIM指标方面，对SOTS数据、O数据、H数据中合成的雾霾图像的平均量化结果

SOTS数据集室外合成图像去雾结果:(a)原始无雾图像;(b) (a)的合成模糊版本;(c) DCP[14]的脱雾结果;(d) MSCNN [25];(e) DehazeNet [26];(f) AOD-Net [27];(g)提出的方法。