图像去噪技术简述

随着每天拍摄的数字图像数量激增，对更准确、更美观的图像的需求也在增加。然而，现代相机拍摄的图像不可避免地会受到噪声的影响，从而导致视觉图像质量下降。因此，需要在不丢失图像特征（边缘、角和其他尖锐结构）的情况下降低噪声。迄今为止，研究人员已经提出了多种降低噪声的方法。每种方法都有自己的优点和缺点。在本文中，我们总结了图像去噪领域的一些重要研究。首先，我们给出了图像去噪问题的公式，然后我们提出了几种图像去噪技术。此外，我们还讨论了这些技术的特点。

介绍

由于环境、传输通道等因素的影响，图像在采集、压缩、传输过程中不可避免地受到噪声的污染，导致图像信息失真和丢失。由于噪声的存在，可能会对后续的图像处理任务（例如视频处理、图像分析和跟踪）产生不利影响。因此，图像去噪在现代图像处理系统中起着重要作用。

图像去噪就是去除噪声图像中的噪声，从而恢复真实的图像。然而，由于噪声、边缘和纹理是高频成分，在去噪过程中很难将它们区分开来，去噪后的图像不可避免地会丢失一些细节。总的来说，在去噪过程中从噪声图像中恢复有意义的信息以获得高质量图像是当今的一个重要问题。

事实上，图像去噪是一个经典问题，已经研究了很长时间。然而，这仍然是一项具有挑战性和开放性的任务。这主要是因为从数学的角度来看，图像去噪是一个逆问题，其解不是唯一的。近几十年来，图像去噪领域取得了巨大成就 [ 1、2、3、4 ] ，以下各节将对它们进行回顾。

本文的其余部分安排如下。在“图像去噪问题陈述”一节中，我们给出了图像去噪问题的表述。“经典去噪方法、图像去噪中的变换技术、基于 CNN 的去噪方法”部分总结了迄今为止提出的去噪技术。“实验”部分介绍了广泛的实验和讨论。“结论”部分介绍了结论和未来研究的一些可能方向。

图像去噪中的变换技术

图像去噪方法从最初的空间域方法逐渐发展到现在的变换域方法。最初，变换域方法是从傅立叶变换发展而来的，但从那时起，各种变换域方法逐渐出现，如余弦变换、小波域方法[81、82、83 ]，以及块匹配和3D滤波（BM3D ) [ 55 ]. 变换域方法采用以下观察：图像信息和噪声的特征在变换域中是不同的。

转换域过滤方法

与空间域滤波方法相比，变换域滤波方法首先将给定的噪声图像变换到另一个域，然后根据图像及其噪声的不同特征对变换后的图像应用去噪过程（系数越大表示高频率部分，即图像的细节或边缘，较小的系数表示噪声）。变换域滤波方法可以根据所选择的基础变换函数进行细分，可以是数据自适应的或非数据自适应的[ 84 ]。

数据自适应变换

采用独立分量分析(ICA) [ 85、86 ] 和 PCA [ 65、87 ] 函数作为给定噪声图像的变换工具。其中，ICA 方法已成功用于非高斯数据的去噪。这两种方法都是数据自适应的，图像和噪声差异的假设仍然成立。然而，它们的主要缺点是计算成本高，因为它们使用滑动窗口并且需要无噪声数据样本或来自同一场景的至少两个图像帧。然而，在某些应用中，可能很难获得无噪声的训练数据。

非数据自适应变换

非数据自适应变换域滤波方法可以进一步细分为两个域，即空间频率域和小波域。

空间频域滤波方法通过设计一个频域滤波器来使用低通滤波，该频域滤波器通过所有低于截止频率的频率并衰减所有高于截止频率的频率 [ 14 , 16 ]。一般来说，图像经过低通滤波器，如傅立叶变换后，信息主要在低频域传播，而噪声则在高频域传播。因此，我们可以通过选择特定的变换域特征并将它们变换回图像域来去除噪声 [ 88 ]。然而，这些方法非常耗时，并且取决于截止频率和滤波器功能行为。

作为去噪中研究最多的变换，小波变换[ 89 ]将输入数据分解为尺度空间表示。已经证明，无论其频率内容如何，​​小波都可以在保留图像特征的同时成功去除噪声[ 90、91、92、93、94、95 ]。与空间域滤波类似，小波域的滤波操作也可以细分为线性和非线性方法。由于小波变换具有稀疏性和多尺度等许多优良特性，它仍然是图像去噪研究的一个活跃领域[ 96]]. 然而，小波变换严重依赖于小波基的选择。如果选择不当，则不能很好地表示小波域中显示的图像，从而导致去噪效果不佳。因此，这种方法不是自适应的。

立体模型

作为 NLM 方法的有效和强大的扩展，BM3D 由 Dabov 等人提出。[ 55 ]，是最流行的去噪方法。BM3D 是变换域中的两阶段非局部协同过滤方法。在该方法中，相似的补丁通过块匹配堆叠成3D组，并将3D组变换到小波域。然后，在小波域中采用硬阈值或带系数的维纳滤波。最后，在对系数进行逆变换后，所有估计的补丁被聚合以重建整个图像。然而，当噪声逐渐增加时，BM3D 的去噪性能会大大降低并引入伪影，尤其是在平坦区域。

为了提高去噪性能，出现了许多改进版本的 BM3D [ 97、98 ]。例如，Maggioni 等人。[ 98 ]最近提出了块匹配和 4D 过滤（BM4D）方法，这是 BM3D 对体积数据的扩展。它利用堆叠成 4-D 组的体素立方体。应用于组的 4-D 变换同时利用体素的局部相关性和非局部相关性。因此，该组的频谱高度稀疏，导致通过系数收缩非常有效地分离信号和噪声。

基于CNN的去噪方法

一般来说，方程式中目标函数的求解方法。( 7 ) 基于图像退化过程和图像先验，它可以分为两大类：基于模型的优化方法和基于卷积神经网络 (CNN) 的方法。上面讨论的变分去噪方法属于基于模型的优化方案，它找到重建去噪图像的最优解。然而，此类方法通常涉及耗时的迭代推理。相反，基于 CNN 的去噪方法试图通过优化包含退化清洁图像对的训练集上的损失函数来学习映射函数[ 99、100 ]。

最近，基于 CNN 的方法发展迅速，并在许多低级计算机视觉任务中表现良好 [ 101、102 ]。使用 CNN 进行图像去噪可以追溯到 [ 103 ]，其中开发了一个五层网络。近年来，已经提出了许多基于CNN的去噪方法[ 99、104、105、106、107、108 ] 。与参考文献相比。[ 103 ]，这些方法的性能有了很大的提高。此外，基于 CNN 的去噪方法可以分为两类：多层感知（MLP）模型和深度学习方法。

MLP模型

基于 MLP 的图像去噪模型包括 Vincent 等人提出的自动编码器。[ 104 ] 和谢等人。[ 105 ]。陈等。[ 99 ]提出了一种称为可训练非线性反应扩散（TNRD）模型的前馈深度网络，取得了更好的去噪效果。这类方法有几个优点。首先，由于推理步骤较少，这些方法可以有效地工作。此外，由于优化算法 [ 77 ] 具有推导判别架构的能力，因此这些方法具有更好的可解释性。然而，可解释性会增加性能成本；例如，MAP 模型 [ 106 ] 限制了学习的先验和推理过程。

基于深度学习的去噪方法

最先进的深度学习去噪方法通常基于 CNN。基于深度学习的去噪方法的一般模型被表述为

其中F ( ⋅ ) 表示具有参数集 Θ 的 CNN，loss ( ⋅ ) 表示损失函数。loss ( ⋅ ) 用于估计去噪图像和地面实况x之间的接近度。由于其出色的去噪能力，相当多的注意力集中在基于深度学习的去噪方法上。X^�^

张等。[ 106 ]首次将残差学习和批量标准化引入图像去噪；他们还提出了前馈去噪 CNN (DnCNN)。DnCNN 模型的目的是学习一个函数在y和。参数 Θ σX^= F( y;Θσ)�^=�(�;Θσ)X^�^在固定方差 σ 下针对噪声图像进行训练。DnCNNs 有两个主要特点：该模型应用残差学习公式来学习映射函数，并将其与批量归一化相结合以加速训练过程，同时提高去噪结果。具体来说，事实证明残差学习和批量归一化可以互惠互利，它们的结合可以有效地加快训练速度和提高去噪性能。虽然经过训练的 DnCNN 也可以处理压缩和插值误差，但在 σ 下训练的模型不适用于其他噪声方差。

当噪声水平 σ 未知时，去噪方法应使用户能够自适应地在噪声抑制和纹理保护之间做出权衡。引入了快速灵活的去噪卷积神经网络 (FFDNet) [ 107 ] 来满足这些理想的特性。特别地，FFDNet 可以建模为（M 表示噪声级别图），这是一个主要贡献。对于 FFDNet，M 表示输入，而参数集 Θ 对于噪声水平是固定的。另一个主要贡献是 FFDNet 作用于下采样的子图像，这加快了训练和测试速度，也扩大了感受野。因此，FFDNet 对不同的噪声非常灵活。X^= F( y,米; Θ )�^=�(�,M;Θ)

这种方法虽然有效且运行时间短，但学习过程的时间复杂度很高。基于 CNN 的去噪方法的发展通过使用分层网络增强了高级特征的学习。

实验

为了进行比较研究，现有的去噪方法采用两个因素（视觉分析和性能指标）来分析去噪性能。

目前，我们找不到任何数学或特定方法来评估视觉分析。一般来说，视觉分析有三个标准：（1）显着程度的伪影，（2）边缘保护，以及（3）保留纹理。对于图像去噪方法，采用了几种性能指标来评估精度，例如 PSNR 和结构相似性指数测量 (SSIM) [ 109 ]。

在这项研究中，所有图像去噪方法都适用于三种不同噪声方差σ∈   [30、50、75]下的噪声图像。对于测试图像，我们使用两个数据集进行全面评估：BSD68 [ 110 ] 和 Set12。BSD68 数据集由来自 BSD 数据集的单独测试集的 68 张图像组成。如图 1所示的 Set12 数据集是广泛使用的测试图像的集合。前七张图片大小为256×256，后五张图片大小为512×512。

从图 2可以看出，空间滤波器（维纳滤波 [ 16 ] 和双边滤波 [ 10 ]）比变换域滤波方法（PCA 方法 [ 87 ] 和小波变换域方法 [ 89 ]）对图像的去噪效果更好。 . 然而，空间滤波器以模糊精细细节和锐利边缘为代价消除了高频噪声。协同过滤 (BM3D) [ 55 ]的结果具有降噪和边缘保护的巨大潜力。

在图 3中，视觉评估表明基于 TV 的正则化 [ 28 ] 的去噪结果平滑了纹理并产生了伪影。尽管 R-NL [ 56 ] 和 NLM [ 38 ] 方法可以获得更好的性能，但这两种方法都难以恢复微小的结构。同时，我们发现代表性的基于低秩的方法（WNNM [ 58 ]、LRA_SVD [ 78 ]）和稀疏编码方案 NCSR [ 66 ] 在同质区域中产生更好的结果，因为底层干净的补丁具有相似的特征，因此它们可以通过低秩或稀疏编码问题来近似。

基于CNN的去噪方法比较

在这里，我们将基于 CNN 的方法（DnCNN [ 106 ] 和 FFDNet [ 107 ]）的去噪结果与当前几种有效的图像去噪方法（包括 BM3D [ 55 ] 和 WNNM [ 58 ]）的去噪结果进行比较。据我们所知，BM3D 是近年来最流行的去噪方法，而 WNNM 是最近提出的成功方案。

表 1报告了 BSD68 数据集上的 PSNR 结果。从表 1中，可以得出以下观察结果。首先，FFDNet [ 107 ] 的性能大大优于 BM3D [ 55 ]，并且在广泛的噪声水平下优于 WNNM [ 58 ] 约 0.2 dB。其次，当噪声水平较低（例如，σ≤25）时，FFDNet 略逊于 DnCNN [ 106 ]，但随着噪声水平的增加（例如，σ> 25），它逐渐优于 DnCNN。

表 1 噪声水平为 15、25、50 和 75 的 BSD68 上不同方法的平均峰值信噪比 (dB) 结果

在图 4中，我们可以看到天线和轮廓区域的细节很难恢复。BM3D [ 55 ] 和 WNNM [ 58 ] 模糊了精细的纹理，而其他两种方法恢复了更多的纹理。这是因为 Monarch 有很多重复结构，可以被 NSS 有效利用。此外，这些区域的轮廓边缘更清晰，看起来更自然。总的来说，FFDNet [ 107 ] 产生了去噪图像的最佳感知质量。

图 4

标准偏差为 75 的加性高斯白噪声破坏的 Monarch 图像去噪结果的视觉比较：a BM3D [ 55 ]（PSNR = 23.91 dB）；b WNNM [ 58 ] (PSNR = 24.31 dB); c DnCNN [ 106 ] (PSNR = 24.71 dB); d FFDNet [ 107 ] (PSNR = 24.99 dB)

结论

随着图像去噪的复杂性和要求的增加，对该领域的研究仍然有很高的需求。本文介绍了几种图像去噪方法的最新进展，并讨论了它们的优缺点。最近，NLM 的兴起取代了传统的局部去噪模型，开创了一个新的理论分支，导致图像去噪方法取得重大进展，包括稀疏表示、低秩和基于 CNN（更具体地说是深度学习）的去噪方法。尽管近年来图像稀疏性和低秩先验得到了广泛应用，但已被证明有效的基于 CNN 的方法在这段时间内得到了快速发展。

尽管对去除 AWGN 进行了许多深入研究，但很少有人考虑对真实图像进行去噪。主要障碍是实际噪声的复杂性，因为 AWGN 比实际噪声简单得多。在这种情况下，对降噪器进行全面评估是一项艰巨的任务。相机内管线中包含多个组件（例如，白平衡、颜色去马赛克、降噪、颜色变换和压缩）。输出图像质量受一些外部和内部条件的影响，例如照明、CCD/CMOS 传感器和相机抖动。

深度学习虽然发展迅速，但不一定是解决去噪问题的有效途径。主要原因是现实世界的去噪过程缺少用于训练的图像对。据我们所知，现有的去噪方法都是通过向干净图像添加 AWGN 生成的模拟噪声数据进行训练的。然而，对于真实世界的去噪过程，我们发现由此类模拟数据训练的 CNN 不够有效。

总之，本文旨在概述可用的去噪方法。由于不同类型的噪声需要不同的去噪方法，因此噪声分析可用于开发新颖的去噪方案。对于未来的工作，我们必须首先探索如何处理其他类型的噪声，尤其是现实生活中存在的噪声。其次，在不使用图像对的情况下训练深度模型仍然是一个悬而未决的问题。此外，图像去噪方法也可以扩展到其他应用。