1、Bitstream-Corrupted JPEG Images are Restorable: Two-stage Compensation and Alignment Framework for Image Restoration

本文研究JPEG图像恢复问题，即加密比特流中的比特错误。比特错误会导致解码后的图像内容出现不可预测的色偏和块位移，这些问题无法通过现有的主要依赖于像素域中预定义退化模型的图像恢复方法来解决。为了解决这些挑战，提出了一个强健的JPEG解码器，并采用两阶段补偿和对齐框架来恢复受比特流损坏的JPEG图像。
具体而言，JPEG解码器采用了一种具有容错机制的方法来解码受损的JPEG比特流。两阶段框架由自补偿和对齐（SCA）阶段和引导补偿和对齐（GCA）阶段组成。SCA阶段基于图像内容相似性和估计的颜色和块偏移量，自适应地对图像颜色进行块状补偿和对齐。GCA阶段利用从JPEG头中提取的低分辨率缩略图来指导全分辨率像素级图像恢复，通过粗到细的方式实现。它由一个粗略引导的pix2pix网络和一个细化引导的双向拉普拉斯金字塔融合网络实现。
在三个不同比特错误率的基准测试上进行了实验。实验结果和消融研究表明了我们所提出的方法的优越性。代码在 https://github.com/wenyang001/Two-ACIR

2、Contrastive Semi-supervised Learning for Underwater Image Restoration via Reliable Bank

尽管最近的水下图像恢复技术取得了显著成就，但标注数据的缺乏已成为进一步进展的主要障碍。本研究提出了一种基于mean-teacher的半监督水下图像恢复(Semi-UIR)框架，将未标记的数据纳入网络训练。然而，朴素的mean-teacher方法存在两个主要问题：(1)训练中使用的一致性损失可能在教师的预测错误时变得无效。(2)使用L1距离可能会导致网络过度拟合错误的标签，导致确认偏差。
为了解决上述问题，首先引入一个可靠的bank来存储“最佳”的输出作为伪基础事实。为了评估输出的质量，基于单调性属性进行实证分析，选择最可信的NR-IQA方法。此外，针对确认偏差问题，还引入对比正则化以防止对错误标签的过拟合。在全参考和非参考水下基准测试上的实验结果表明，算法在定量和定性上都比SOTA方法有明显的改进。
代码在https://github.com/Huang-ShiRui/Semi-UIR

本文的目的是提出一种机制，以有效地和明确地建模图像恢复的全局、区域和局部层次结构。
为了实现这一目标，首先分析了自然图像的两个重要属性，包括跨尺度相似性和各向异性图像特征。在此启发下，提出了锚定条纹自注意力机制，它在自注意力的空间和时间复杂度和区域范围之外的建模能力之间取得了良好的平衡。
然后，提出了一种名为GRL的新网络结构，通过锚定条纹自注意力、窗口自注意力和通道注意力增强卷积，明确地建模图像的全局、区域和局部层次结构。
最后，将所提出的网络应用于7种图像恢复类型，包括真实和合成设置。所提出的方法为其中的几种设定设立了新的技术标准。
代码在https://github.com/ofsoundof/GRL-ImageRestoration.git

Under-Display Camera (UDC)图像修复任务，由于收集大规模且完全对齐的配对训练数据的困难，之前的方法采用基于监视器的图像系统或基于模拟的方法，牺牲了数据的真实性并引入了域差异。
本文重新考虑了经典的立体设置用于训练数据的收集——使用一个UDC和一个标准相机捕获同一场景的两个图像。关键思想是从高质量的参考图像中“复制”细节并将其“粘贴”到UDC图像中。虽然能够生成真实的训练配对，但由于透视和景深的变化，该设置容易出现空间不对齐的问题。该问题进一步加剧了UDC和正常图像之间的大域差异，这是UDC修复所特有的。
本文通过一种基于Transformer的框架，通过两个精心设计的组件，即域对齐模块（DAM）和几何对齐模块（GAM），来缓解非常规域差异和空间不对齐的问题，这有助于鼓励鲁棒和准确地发现UDC和正常视图之间的对应关系，并生成对应UDC输入的高质量、对齐的目标数据。实验表明，高质量和对齐的伪UDC训练配对有助于训练鲁棒的修复网络。
代码和数据集在https://github.com/jnjaby/AlignFormer

低光图像增强（Low-light image enhancement ，LLIE）研究如何改善照明并产生正常光照的图像。现有的大多数方法通过全局和均匀的方式改善低光图像，而不考虑不同区域的语义信息。没有语义先验，网络可能会轻易偏离区域的原始颜色。
为了解决这个问题，提出了一个新的语义感知知识引导框架（semantic-aware knowledge-guided framework ，SKF），可以帮助低光增强模型学习包含在语义分割模型中的丰富多样的先验知识。专注于从三个关键方面融合语义知识：一个智能地在特征表示空间中集成语义先验的语义感知嵌入模块，一个保留各种实例颜色一致性的语义引导颜色直方图损失，以及语义引导的对抗性损失可通过语义先验产生更自然的纹理。
实验表明，配备 SKF 的模型在多个数据集上的表现明显优于基线，SKF可以很好地泛化到不同的模型和场景。代码在 https://github.com/langmanbusi/Semantic-Aware-Low-Light-Image-Enhancement

本研究旨在提高扩散模型在实际图像恢复中的适用性。具体而言，从网络结构、噪声水平、去噪步骤、训练图像大小和优化器/调度器等多个方面增强了扩散模型。
调整这些超参数可以在失真和感知得分上实现更好的性能。还提出了一种基于U-Net的潜在扩散模型，它在低分辨率潜在空间中执行扩散，同时保留来自原始输入的高分辨率信息用于解码过程。与先前训练VAE-GAN来压缩图像的潜在扩散模型相比，提出的U-Net压缩策略更加稳定，并且可以在不依赖对抗性优化的情况下恢复高度精确的图像。
重要的是，这些修改能够将扩散模型应用于各种图像恢复任务，包括现实世界的阴影去除、高分辨率非均匀去雾、立体超分辨率和浅景深效果转换。通过简单地更换数据集并稍微更改噪声网络，模型Refusion能够处理大尺寸图像（例如HR去雾中的6000×4000×3）并在所有以上恢复问题上产生良好的结果。Refusion在NTIRE 2023图像阴影去除挑战赛中实现了最佳的感知性能，并获得了总体第二名。
https://github.com/Algolzw/image-restoration-sde

文章出处登录后可见！

已经登录？立即刷新