一、图像去噪基础知识

1. 图像去噪模型

图像在传输、存储和拍摄等过程中，由于电磁波、传输设备存在杂质信号、镜头污渍等外部条件的干扰会产生噪声。从而导致图像不能清晰、真实地反映事物。

图像去噪算法地目的是将图像中的噪声去除，还原出无噪声的图像，并且最大限度地保存图像中原有的细节信息。通常图像去噪问题被当成一个逆问题来处理，给定一张M*N的噪声图像y，通过去噪算法去除图像噪声，恢复未被噪声污染过的图像x。噪声图像可用表达式： $y=x+v$ 来表示。其中 $v$ 表示图像噪声，图像去噪的模型如下图所示[1-3]。

经典图像去噪算法概述

2. 图像去噪类型

2.1 噪声类型——融合方式

噪声的分类方法多种多样，根据噪声与图像信息两者之间的融合方式，能够将噪声模型分成加性噪声和乘性噪声两类。假设给定观测到的噪声图像为 $y(i, j)$ ，原始图像为 $x(i, j)$ ，噪声为 $v(i, j)$ ，则加性噪声模型为：

$y(i, j)=x(i, j)+v(i, j)$

乘性噪声模型为：

$y(i, j)=x(i, j)\cdot v(i, j)+x(i, j)$

由噪声模型可以看出加性噪声和图像信号之间是相加的关系，不管有无图像信号的存在，噪声是客观存在的，因此可知图像信号和噪声信号之间是不相关的。而乘性噪声和图像信号之间是相乘的关系，图像信号存在，则噪声存在，图像信号不存在，噪声便不存在，故乘性噪声和图像信号之间是相关的。

2.2 噪声类型——概率分布

根据噪声服从的概率密度分布，可以将其分为高斯噪声、脉冲噪声和泊松噪声等。

（1）高斯噪声

高斯噪声是一类概率分布服从高斯分布的噪声，其概率密度为：

经典图像去噪算法概述

其中 $v$ 为噪声， $\mu$ 为噪声均值，通常取为0， $\sigma$ 为噪声的标准差，由概率密度函数可以看出高斯噪声有很好的数学性质，该概率密度函数下函数的分布是对称的。现实生活中的噪声大多数能够近似表示为高斯噪声，因此通常研究者们在研究图像去噪算法时大多都使用均值为0，方差为 $\sigma$ 的高斯噪声模拟真实噪声。

（2）脉冲噪声

脉冲噪声的概率密度为：

经典图像去噪算法概述

脉冲噪声点的亮暗程度与a、b的取值有关，当b>a时，则值为a的点表现为暗点，值为b的点表现为亮点。反之则值为b的是暗点，值为a的点是亮点。

（3）泊松噪声

泊松噪声的概率密度函数：

该概率密度下噪声的均值和方差都为 $\lambda$ ，泊松噪声是因光量子测定时存在不确定性而导致的，因此泊松噪声一般在亮度很小或者高倍电子放大线路中会出现。

二、非局部均值图像去噪方法

目前已有的许多图像去噪方法大多是基于“局部平滑”（例如，传统的均值滤波器和高斯滤波器）。虽然这类方法是有效的，但由于缺乏自适应性会导致图像模糊。从下面四幅灰度图像可以看出，它们都含有很多相似重复的纹理信息，考虑在大多数图像中出现的冗余信息，研究人员发现图像的自相似性可以应用于图像去噪领域。2005年，Buades等人首次提出了一种非局部均值（NLM）去噪算法。该算法充分利用图像中的自相似性达到去噪的目的，首先通过计算邻域间的欧式距离得到相似性权值，然后使用相似像素的加权平均得到去噪图像。这种计算权值的方法仅与图像块的相似性有关，与位置无关因此很好的避免了虚假纹理的产生。与传统的去噪算法相比，NLM算法具有算法简单、去噪性能好、易于改进和扩展的特点。

经典图像去噪算法概述

给定一个离散含噪图像 $y=\left \{ y(i), i\in I \right \}$ ，即：

$x^{hat}(i)=\sum_{j\in S_{i}}^{}w_{NL}(i, j)y(j)$

其中， $x^{hat}(\cdot )$ 为去噪后的图像， $S{_{i}}$ 是以像素i为中心的方形搜索窗口， $w_{NL}(i, j)$ 为相似性权重系数，由像素点i和j的邻域相似性决定，该相似性通常利用图像块间的欧氏距离计算得到。因此，图像块相似性的度量如下所示，同时权值需要满足条件： $0\leq w_{NL}(i, j)\leq 1$ 且 $\sum_{j\in S_{i}}^{}w_{NL}(i, j)=1$ .

$w_{NL}(i, j)=\frac{1}{Z(i)}exp(-\frac{\left \| y(N_{i})-y(N_{j}) \right \|_{2}^{2}}{h})$

其中， $Z(i)=\sum_{j\in S_{i}}^{}exp(-\frac{\left \| y(N_{i})-y(N_{j}) \right \|_{2}^{2}}{h})$ ， $y(N_{i})$ 表示以像素i为中心的图像块的灰度值，h控制指数函数的衰减速度并影响滤波程度。由上述公式可知权值 $w_{NL}(i, j)$ 依赖于邻域窗口 $y(N_{i})$ e和 $y(N_{j})$ 的相似度，当权值越大，图像的邻域就越相似。

非局部方法在去噪性能上优于局部方法，特别是对于高斯噪声。然而，NLM方法存在明显的不足，仍然有很大的改进空间，比如：较高的计算复杂度、相似性权重的计算公式受噪声影响较大和去噪参数确定不准等。

三、基于图像先验的正则化去噪模型

对于正则化去噪方法，最重要的一步是找到一个合适的自然图像先验。由于应用的领域不同，人们所关注的图像特征也是不同的，因此需要根据需求来构造合理的正则化去噪模型。在研究过程中，来自不同国家的学者针对图像自身先验进行约束，提出了不同形式的正则化去噪模型。下面介绍一些最有影响力的图像先验知识，包括梯度先验、非局部自相似性先验、稀疏性先验和低秩性先验。

1. 图像的梯度先验

最早将梯度先验引入图像去噪的是Tikhonov正则化方法，该方法根据原始图像是“平滑”这一假设进行去噪的。但是这种光滑约束是各向同性的，在去除噪声的过程中难免平滑掉大量边界以及细节结构。为了防止这种情况的发生。1992年，又有学者提出了基于TV的正则化方法来克服去噪图像的平滑性，这是该领域最有影响力的工作。TV正则项的本质是梯度的L1范数，定义为：

$R_{TV}=\left \| \bigtriangledown x \right \|_{1}$

其中， $\bigtriangledown x$ 是 $x$ 的梯度。进而得到图像的去噪模型：

$arg min_{x}\frac{1}{2}\left \| y-x \right \|_{2}^{2}+\lambda \left \| \bigtriangledown x \right \|_{1}$

这种极小化问题也称为ROF模型，它具有以下几个优点：1）该模型存在唯一解；2）关于x的解空间函数是不连续函数，即允许存在边缘位置的特殊像素点，所以在去噪过程中能较好地保持边缘。由于以上优点，TV模型被广泛用于图像去噪。但是模型也存在着缺陷：1）由于TV模型沿像素梯度方向是平滑地，容易将噪声当作伪纹理而被保存下，因此在平坦区域易产生阶梯效应；2）由于TV模型逐个相邻像素点计算像素差，会导致图像纹理趋于过平滑；3）TV模型中正则化参数的选择是依赖于经验值的，因此选择合适的参数值存在一定的难度。下图是利用了TV正则化后的视频数据恢复算法（HSR-TT）的对比图，选择视频的大小为256*256*30，我们选择第10帧作为对比[5]。

经典图像去噪算法概述

2. 图像的非局部自相似先验

基于自然图像在不同位置包含大量相似图像这一事实，一系列方法利用了图像的非局部自相似（NSS）先验进行去噪。这类正则化去噪模型的开创性工作就是上面所讲的NLM去噪。通过将NLM中的第一步，即像素相关性的估计，视为图像相关图的构成方法，开发了各种形式的基于图拉普拉斯的正则化方法。根据前面介绍的相似性度量公式，NSS先验定义为：

$R_{NSS}(x)=\sum_{x_{i}\in x}^{}\left \| x_{i} -NLM(x_{i})\right \|_{2}^{2}=\sum_{x_{i}\in x}^{}\left \| x_{i}- w_{i}^{T}\kappa _{i}\right \|_{2}^{2}$

其中， $\kappa _{i}$ 是由在一个搜索窗口内所有围绕像素 $x_{i}$ 的中心像素形成的列向量， $w_{i}$ 是一个包含所有相应权重 $w_{ij}$ 的列向量。尽管这类去噪算法取得了巨大的成功，但它们往往无法保持细致的纹理，着极大地降低了图像地视觉质量。

3. 图像的稀疏性先验

由于自然图像具有冗余性，因此可以用字典进行稀疏表示。根据此先验知识，基于冗余字典的稀疏表示的去噪算法已成为近年来研究的热点问题。无噪声图像在字典下表示是稀疏的，而噪声随机的是不可稀疏的，因此图像信息蕴含在少量的系数中。

图像稀疏表示的数学模型是 $x=D\alpha$ ，将输入图像块分解为矩阵D与向量 $\alpha$ 的乘积形式，其中矩阵D由一组基向量组成，向量α中大部分元素为零。由于传统的正交基对图像稀疏表示能力有限，有学者提出了字典的概念，用过完备字典代替正交小波基。这使得图像在冗余基库中可以方便地选择基向量，以更好地实现对复杂图像的稀疏表示。

经典图像去噪算法概述

稀疏表示模型的求解可以转化为优化问题，用L1范数约束，即 $min_{\alpha }\left \| \alpha \right \|_{1}$ $s.t.\, \, \, x=D\alpha$ 。通用的稀疏表示模型为

$\hat{\alpha }=arg\, m\underset{\alpha }{in}\left \| y-D\alpha \right \|_{2}^{2}+\lambda \left \| \alpha \right \|_{1}$

其中， $\alpha$ 是包含稀疏系数向量的矩阵。

稀疏表示模型提供了观察图像的一个新视角，特别是超完备字典的引入更有利于反映图像复杂的结构信息，但它忽略了图形的自相似性。而且，字典的训练过程是非常费时的，同时如何合理求解稀疏表示系数也是该模型的一个重要问题。

4. 图像的低秩性先验

与稀疏表示模型不同，低秩模型将相似的图像块重组为一个矩阵，矩阵每一个列都是一个展开的图像块向量，并利用相似块矩阵的低秩性先验进行图像去噪。

对于一幅含噪图像y，将每组相似图像块向量化成列向量构成矩阵Y( $Y\in R^{m\times n}$ )。我们可以将矩阵Y看作是无噪矩阵X受加性噪声矩阵N干扰后的结果，其中矩阵X的列向量之间相关性很高，具有低秩的性质。在加性噪声模型下，含噪矩阵满足Y=X+N，其中N是随机的噪声干扰矩阵，通常情况下N是满秩的。用于含噪图像恢复的低秩方法可以分成两类：基于低秩矩阵分解的方法和基于核范数最小化的方法。

第一类方法是以SVD分解为核心的，通过限制奇异值的数量或者大小来约束矩阵结构的稀疏性，从而给出图像块矩阵的低秩逼近。

对降噪矩阵 $\hat{X}$ 的估计需要解决的问题是用一个秩为k的低秩矩阵逼近含噪矩阵 $Y$ ，该逼近基于 $Y$ 与 $\hat{X}$ 之间差异的F范数进行最小化且以 $rank(\hat{X})=k$ 作为约束：

$\hat{X}=arg\: m\underset{X}{in}\left \| Y-\tilde{X} \right \|_{F}^{2}$

$s.t.\: \: \: rank(\tilde{X})=k$

上面问题可以由Y的奇异值分解解决，由于奇异值分解的能量压缩性质，信息的主要能量都集中在少数几个较大的奇异值上，而较小的奇异值对应于噪声子空间，将它们设置为零可以得到去噪后的低秩矩阵，问题的关键是如何确定阈值来区分信号与噪声，太大的阈值会使图像过于平滑从而模糊掉边缘及纹理，太小的阈值则难以达到去噪的效果。

另一类使基于核范数最小化（NNM）的方法，该方法以F范数作为数据保真项，可以采用含噪矩阵奇异值的软阈值操作来求解。核范数最小化模型为：

$\hat{X}=arg\: m\underset{X}{in}\left \| Y-X \right \|_{F}^{2}+\lambda \left \| X \right \|_{*}$

其中， $\left \| \cdot \right \|_{F}^{2}$ 表示F范数，并且 $\left \| X \right \|_{*}=\sum_{i}^{}\left \| \sigma _{i} (X)\right \|_{1}$ ，这里 $\sigma _{i}(X)$ 表示X的第i个奇异值。尽管核范数最小化已被广泛应用于解决低秩矩阵逼近的问题，它仍存在一些不足。每个奇异值的权重相等，并且对每个奇异值应用相同的阈值收缩，但是不同的奇异值具有不同的重要性。因此就有学者提出了基于核范数最小化的WNNM模型，该模型可以自适应地将权重分配给不同大小地奇异值，并使用软阈值方法对其进行去噪。给定一个权重向量 $\omega$ ，加权核范数最小化模型可表示为：

$\hat{X}=arg\: m\underset{X}{in}\left \| Y-X \right \|_{F}^{2}+\lambda \left \| X \right \|_{\omega *}$

其中， $\left \| X \right \|_{\omega *}=\sum_{i}^{}\left \| \omega _{i}\sigma _{i}(X) \right \|_{1}$ 。WNNM方法综合考虑了噪声在整个奇异值空间内的能量分布，显示了最先进的去噪结果。但由于WNNM的迭代增强步骤收敛到噪声图像并且迭代次数固定在经验值上，导致计算成本相对较高。此外，WNNM为噪声图像中给定的参考图像块寻找相似块时不考虑噪声因素，导致块匹配可能与参考图像块不完全相似。

上面大多数被提及的方法通过对图像先验进行建模来解决，例如，基于梯度（例如总变差），非局部自相似（例如非局部均值），稀疏建模（例如图像块字典学习）和低秩性（例如加权核范数最小化）。然而，这些技术仍然受到重大限制，例如没有充分挖掘图像特征信息。基于梯度先验去噪方法的重点是局部特征，而忽略图像的全局结构。在许多情况下，这可能会使图像产生阶梯效应。同样，基于非局部自相似性的方法通常采用图像块加权平均，容易导致过度平滑图像。

[1]袁媛. 基于非局部自相似性的去噪算法研究[D].华东师范大学,2018.
[2]范琳伟. 基于非局部均值和正则化模型的图像去噪研究[D].山东大学,2019.
[3]邵欧阳. 基于非局部自相似性和低秩近似理论的地震数据去噪方法研究[D].中国地质大学,2021.DOI:10.27492/d.cnki.gzdzu.2021.000138.
[4]白同磊,张翠芳.外部非局部自相似先验的图像去噪[J].电讯技术,2021,61(02):211-217.
[5]Jing-Hua Yang, Xi-Le Zhao, Tian-Hui Ma, Meng Ding, Ting-Zhu Huang, Tensor train rank minimization with hybrid smoothness regularization for visual data recovery, Applied Mathematical Modelling, Volume 81, 2020,

文章出处登录后可见！

已经登录？立即刷新

经典图像去噪算法概述

一、图像去噪基础知识

1. 图像去噪模型

2. 图像去噪类型

2.1 噪声类型——融合方式

2.2 噪声类型——概率分布

二、非局部均值图像去噪方法

三、基于图像先验的正则化去噪模型

1. 图像的梯度先验

2. 图像的非局部自相似先验

3. 图像的稀疏性先验

4. 图像的低秩性先验

相关推荐