文章目录
文章题目
Joint Distortion Restoration and Quality Feature Learning for No-Reference Image Quality Assessment
发表年限
2024
期刊/会议名称
ACM Transactions on Multimedia Computing, Communications, and Applications
论文简要
- 本文提出了一种联合恢复和质量特征学习的NR-IQA方法——RQFL-IQA，将失真图像恢复和质量预测在统一框架内共同处理。
- 为了准确建立失真和恢复图像之间的质量重建关系，使用基于像素级和结构级表示的混合损失函数来提高图像恢复网络的恢复能力。
- 所提出的 RQFL-IQA 方法利用丰富的标签，包括恢复图像和质量分数，使模型能够学习更具区分性的特征，并建立更准确的从特征表示到质量分数的映射。
- 此外，为了避免恢复不良对质量预测的影响，作者提出了一个具有清洁功能的模块，用于对恢复和原始特征的融合进行加权，以实现特征融合中更高的感知一致性。
- 在公共IQA数据集上的实验结果表明，所提出的RQFL-IQA优于现有方法。
动机
- 现有方法对失真恢复和质量预测使用不同的优化方案，这削弱了特征表示到质量分数的准确映射。
- 使用基于生成对抗网络的或基于非对抗模型的图像恢复网络来模拟人类视觉系统（HVS）的恢复过程的方法采用分离的优化方案。使用具有固定参数的图像恢复网络生成恢复的图像，然后将其用作伪参考图像信息，与失真图像的信息融合，用于图像的质量预测。这使得图像质量预测的准确性高度依赖于失真图像恢复的有效性。当面对难以恢复的严重失真图像时，额外的错误图像质量特征被引入到质量预测中，导致预测准确性降低。
主要思想或方法架构
-
现有方法需要一个预训练的网络来提供恢复的图像作为输入。而在传统的分离图像恢复和质量预测方案中，两者都需要独立优化，作者的方案可以共同优化两者以实现最佳的图像质量预测性能。
-
本文提出了一种用于无参考图像质量评估（NR-IQA）方法的端到端联合图像恢复和质量特征学习框架。
-
如图1所示，这包括两个图像质量评估性能激励模块，包括一个图像恢复（IR）网络和一个特征置信度融合（FCF）模块，以及使用Swin Transformer的图像质量特征提取主干。
-
此外，作者还提出了一种混合损失函数，以准确建立失真图像及其视觉恢复对应图像之间的重建关系，以实现优越的图像质量预测性能。
- 首先，作者在整体框架中添加了IR网络来执行失真图像的视觉恢复。在训练过程中，这种重建关系由教师模型生成的伪置信图像进行监督。它与质量预测网络共享质量特征映射，从而减少参数量和推理时间。
- 其次，作者提出了一个FCF模块，将失真图像的特征图与其恢复图像的特征图连接起来，以提取最终的质量特征信息，而不是直接合并恢复图像的特征。具体来说，连接的特征图通过选择机制生成一对互补的置信度权重，以更仔细地重新加权特征，并平衡两个特征图的相对重要性。这不仅允许积极使用恢复图像特征作为参考信息，而且与直接用恢复图像特征图减法的简单方法相比，减少了面对严重失真图像时不良恢复的误导效应。
- 最后，基于像素级和结构级考虑的混合图像恢复损失函数有助于IR网络建立失真和恢复图像之间的质量重建关系。它还与质量评估损失函数结合，协同优化两者，以建立从特征表示到质量分数更准确的映射。
- 为了解决现有的基于自由能原理的无参考图像质量评估(NR-IQA)方法的问题，本文提出了一种新的联合恢复和质量特征学习的NR-IQA方法(RQFL-IQA)。
- 作者提出了一个端到端的深度学习架构，该架构在统一的框架中联合处理失真图像的恢复和质量预测。恢复和预测网络共享质量特征表示，并在联合优化过程中相互适应。
- 此外，图像恢复网络的输出作为参考特征提供给质量预测网络。失真图像的恢复和质量特征通过FCF模块进行聚合和重新加权。在调整通道权重后，我们使用全局平均池化(GAP)将聚合特征转换为最终的质量特征向量。
- 最后，将特征向量输入到多层感知器(MLP)回归中以获得失真图像的质量分数。
- 此外，作者提出了一种图像恢复混合损失函数来优化图像恢复网络，以建立失真图像和恢复图像之间的质量关系。图像恢复混合损失函数与质量评估损失函数相结合，以实现从特征表示到质量分数的更准确映射。
特征提取模块
-
作者使用总共
个 Swin Transformer 层(
)的组合作为特征提取网络。对于输入的失真图像
（H、W和C分别是图像的高度、宽度和输入通道数），原始特征
被提取为：
-
其中
(·) 表示第
个
是最终层的输出特征。
-
-
给定大小为
的输入用于 STL，输入被重新整形为
，通过将其划分为
的非重叠窗口。然后分别计算每个窗口的自注意力（即局部注意力），计算过程如下所示：
-
其中
是一个可学习的位置依赖编码器。
-
在上述等式中，查询(query)、键(key)和值(value)矩阵：
、
计算如下：
-
其中
、
、
是在不同窗口之间共享的投影矩阵，
是局部窗口特征。
-
然后，使用带有两个全连接
非线性层的多层感知机(
)进行进一步的特征变换。
-
在多头自注意力(
)和
)层，并且在两个模块中都使用了残差连接。整个过程表达为：
图像恢复网络
-
图像重建网络通过聚合扭曲图像的原始特征将扭曲图像恢复为无扭曲图像。如果将整个特征提取网络视为编码器，那么图像重建网络更像是一个解码器。
-
特别地，给定原始特征
-
其中
是第
层的恢复特征，初始输入特征是
。
-
()表示网络中的反卷积（
）和
激活层。
-
值得注意的是，作者提出的 IR 网络与上图中的相应网络有根本的不同。
-
图中(a) 是一种分割训练方法，它使用预训练的恢复模型来恢复失真图像。本质上，这种 IR 方法可以被视为一种图像预处理策略，其性能受限于预训练网络的性能。
-
图中(b) 采用了双流网络结构，其中一个流用于恢复失真图像，另一个流用于评估图像质量。这大大增加了整个网络的参数量。
-
为了克服上述缺点，作者提出的联合网络允许恢复和预测网络共享相同的原始特征。因此，这两个网络可以共同优化并相互适应。
-
与图中(b) 相比，作者提出的策略充分利用了 IR 网络的上下文信息，并减少了整个网络的参数集。
-
基于自由能原理启发的 NR-IQA 方法的不同网络结构：
- a使用预训练网络来恢复失真图像。
- b 和 c 使用双流网络结构，其中一个流用于恢复失真图像，另一个流用于提取图像质量特征。
- 与 b 相比，c 中的恢复和评估网络共享一个共同的特征图，有效地减少了模型参数的总数并加快了评估过程。
特征置信度融合模块
-
如果将
网络生成的恢复特征直接用作最终的参考信息，那么生成的恢复图可能无法很好地恢复。这可能导致不希望的结果，例如引入误导性信息，进而影响图像质量预测。
-
因此，作者提出了一个简单的
模块来执行最终的特征融合，以明确地使用所有可用且信息丰富的特征图进行质量评估，并减少恢复不良对质量预测的影响。
-
具体来说，作者通过聚合恢复的和原始的特征图，选择性地突出显示信息丰富的特征并抑制无用的特征。
-
如上面架构图所示，作者将恢复的特征和原始特征的连接作为
-
其中
表示两个卷积层后跟一个激活函数。
-
之后，作者通过权重矩阵
对特征图进行重新加权。最终的特征图计算如下：
-
通过这种方式，恢复的特征和原始特征信息得到充分利用和校准。
-
如果恢复的特征不准确，也可以有效地抑制无效特征，以提取失真图像的最终准确特征表示。
混合损失函数
-
作者联合训练模型来学习两个任务，包括
。
-
对于
-
其中
是一个超参数，视觉补偿损失
用于图像像素级评估，结构补偿损失
用于图像结构信息评估。
-
视觉补偿损失
-
视觉补偿损失
-
其中
和
分别表示失真图像和其代理参考图像。
-
(·) 表示图像恢复网络。
-
表示图像恢复网络的网络参数。
-
但是视觉补偿损失只考虑像素值之间的差异，忽略了结构信息对图像恢复质量的影响。
-
为了解决这个问题，作者提出使用结构补偿损失
-
结构补偿损失
) 定义，具体定义如下：
-
其中
=
，通过
-
对于
) 和均方误差 (
) 通常被用作训练
-
基于训练难度的考虑，作者使用
-
其中
是批次中的图像数量，
是第
是第
-
除了使用上述损失函数外，作者还引入了排名损失来优化图像质量评估任务。
-
在计算排名损失时，不是直接暴露图像质量分数，而是使用它们的相对排名，这有助于通过提供不同的指导信号来补充
-
对于成对的图像质量预测，成对排名损失的计算如下：
-
其中
是 batch-size 中成对组合的
和
分别对应两个预测和两个期望分数，
是一个小的稳定常数。
-
当两个图像的预测排名与期望结果一致时，分子值为负，因此结果通过
函数归一化为零；当排名不一致时，排名损失对应于两个分数之间的绝对差异，从而指向正确的排名。
-
因此，质量评估主任务的损失函数可以表示为：
-
其中
是一个超参数。
-
通过累积上述损失，端到端联合图像恢复和质量特征学习网络的最终损失函数定义为：
-
其中 α 是一个超参数。
实验结果
- 为了证明所提出的 RQFL-IQA 的有效性，作者把它与 10 种 NR-IQA 方法进行了比较，包括两种基于 NSS 的方法：DIIVINE 和 BRISQUE ，两种基于 CNN 的方法：WaDIQaM 和 DACNN ，两种多任务学习方法：SGDNet 和 NEMG-IQA ，三种基于 Transformer 的方法 HyperIQA 、TReS 和 MANIQA ，以及一种基于自由能原理的引导方法 VCRNet 。
-
从表 3 中可以看出，所提出的 RQFL-IQA 在 LIVE、TID2013、CSIQ、CLIVE、KonIQ-10k 和 SPAQ 数据库上的表现优于所有比较的 NR-IQA 方法。
-
该方法在 KADID-10K 数据库上也取得了第二好的结果。
-
与基于多任务学习框架的 IQA 方法 SGDNet 和 NEMG-IQA 相比，RQFL-IQA 在所有七个 IQA 数据库上均取得了不同程度的性能提升。
-
与基于 Transformer 框架的 IQA 方法 HyperIQA 、TReS 和 MANIQA 相比，RQFL-IQA 在大多数 IQA 数据库上的表现优于这些方法，在 KADID-10K 上的表现略低于 MANIQA。
-
与基于自由能原理的引导 IQA 方法 VCRNet 相比，RQFL-IQA 与 VCRNet 相比取得了整体改进。
-
作者进一步可视化了 RQFL-IQA 在不同失真水平的图像上的表现，如图 4 所示。
-
从图 4 中可以看出，RQFL-IQA 不受严重失真图像（即主观评分较低的图像）的影响。
-
面对难以恢复的图像，其预测分数与主观分数相似，误差小于 2%。
-
总之，通过结合图像恢复和质量特征学习，并使用特征置信度融合模块来减少恢复特征中的错误对质量预测的影响，所提出的 RQFL-IQA 很好地建立了失真图像与质量分数之间的图像质量重建关系，并实现了高质量的图像质量预测准确性。
- 如表 4 所示，所有比较的方法都能在 LIVE 数据集的所有失真类型上表现良好且一致。
- 此外，对于相对复杂的数据集如 CSIQ（见表 5），RQFL-IQA 的优势是明显的。
- 对于 WN 和 GB 失真类型，本文提出的 RQFL-IQA 在两个数据集上均取得了比其他方法显著更好的结果。
- RQFL-IQA 也在更具挑战性的 PGN 和 CTD 失真类型上取得了最佳表现，并分别相比基于自由能原理指导的 NR-IQA 方法 VCRNet 提高了约 7.6% 和 1.7% 的表现。
- 所提出的 RQFL-IQA 方法实现了与人类感知更一致的显著表现，这验证了我们通过将视觉恢复子任务与质量预测子任务结合优化的有效性。
- 通过将这两个子任务一起训练整个网络，模型学习到了更具区分性的特征，并建立了从特征表示到质量分数更准确的映射。
- 为了展示所提出方法的泛化能力，作者进行了跨数据库测试，以比较所提出的 RQFL-IQA 与六种最先进的深度 NR-IQA 方法的泛化能力。
- 对于 LIVE 训练数据库，RQFL-IQA 在 CLIVE、KONIQ-10K 和 SPAQ 测试数据库上获得了最佳的泛化性能，并在 TID2013 数据库上获得了与最佳 TReS 相似的结果。
- 对于 KONIQ-10K 训练数据库，所提出的 RQFL-IQA 在 LIVE、TID2013 和 SPAQ 数据库上获得了最佳结果，并仅次于 MANIQA 在 CLIVE 测试数据集上。
- 这些结果表明 RQFL-IQA 比受自由能原理启发的方法 VCRNet 在不同数据集上具有更好的泛化能力，说明 RQFL-IQA 的联合训练方案可以学习到更多的质量特征信息，并与 VCRNet 的独立训练方案相比，建立准确的映射关系。
- 为了验证混合损失函数中每个损失函数的重要性，作者进行了消融研究。
- 实验表明，将四种不同的损失函数组合成一个混合损失函数来优化模型，可以获得更好的预测精度和恢复性能。
- 仅使用像素级距离
或排序损失
的任意组合来优化训练任务，会导致整体性能不同程度的降低。
- 这也证实了仅依赖像素值差异来优化图像恢复任务是不完美的，在恢复失真图像的过程中还有其他问题需要考虑，例如图像之间的结构信息。
- 对于 IQA 任务，使用相对排名信息而不暴露图像质量值有助于补偿 MAE 损失，通过提供不同的指导信号来提高模型性能。
- 为了验证每个组件的重要性，作者进行了消融研究。
- 没有恢复图像作为监督信号的模型 A 和 B 可以被视为图像恢复和质量评估的独立训练方案。
- 实验表明，没有监督信号的模型的预测精度降低了。模型 C 作为模型 A 的进一步监督版本，在所有三个数据集中至少提高了 5% 的 SRCC。
- 与直接融合相比，使用 FCF 模块对恢复的特征和原始特征进行置信度融合时，性能有所提高。
- 可以看出，当恢复的特征不准确时，FCF 模块在减少对质量分数准确性的影响方面是有效的。
- 总之，当所有三个组件都存在时，SRCC 更大，当某些组件未使用时，预测的准确性会降低。
- 表中的结果显示了所提出的 RQFL-IQA 中不同组件的重要性。
- 为了更直观地表示 RQFL-IQA 方法中每个模块的效果，作者进一步可视化了模型 A、B、C 和 D 的图像恢复状态图像，如图 5 所示。
- 从图 5 中可以看出，图像恢复和质量评估的两个独立训练方案的模型 A 和 B，也比联合训练方案的模型 C 和 D 的图像恢复性能差。
- 联合训练方案可以有效提高模型恢复性能和图像质量预测精度。
- 作者进一步研究了不同方法生成代理参考图像对整个 RQFL-IQA 模型的影响。
- 将图像恢复教师网络（IR-Teacher）与当前图像恢复任务中常用的三种网络结构进行比较。
- 所有四种方法都使用 KADIS-700k 数据集和
作为损失函数进行了最佳训练，实验结果如表 9 所示。
- 从表 9 中可以看出，在 SRCC、PSNR 和 SSIM 值方面，使用所提出的 IR-Teacher 生成代理参考图像可以有效满足 RQFL-IQA 的要求。
- 作者进一步探索了混合函数中三个超参数（λ1、λ2 和 λ）的数值设置，以找到它们的最佳值，结果如表 10 所示。
- 考虑到 SRCC、PSNR 和 SSIM 值，最终确定 λ1 = 0.8、λ2 = 1.5 和 λ = 0.8。
- 此外，作者还分析了所提出的结构补偿损失对 IR 网络的贡献。
- 图 6 显示了有无所提出的结构补偿损失
- 从图 6 中可以看出，有了所提出的结构补偿损失，图像恢复的图像质量得到了有效提升。
版权声明：本文为博主作者：ErizJ原创文章，版权归属原作者，如果侵权，请联系我们删除！
原文链接：https://blog.csdn.net/weixin_44043952/article/details/137227451
