本文来自ICIP2021论文《CNN Based In-loop Filter For VVC Intra Coding》
VVC提供了三种环路滤波器：SAO、Deblocking、ALF来减少压缩失真，但是手工设计的滤波器难以处理复杂的压缩失真。
论文提出基于CNN的环路滤波技术来提升VVC中I帧的质量。网络输入包括从重建像素中提取的特征以及划分、预测信息，对于色度分量的输入还包括亮度像素。
Input
整个网络结构如Fig.1所示，其中输入部分在图的左侧。输入包括重建信息、划分信息以及预测信息。由于现有的环路滤波处理可能丢弃一些信息，所以这里使用的重建信息不经过现有的环路滤波处理。输入还包括划分信息以及预测信息，这是因为它们和压缩失真、重建误差都有很大关系。为了使划分信息和重建信息维度一样，使用均值填充CU。
为了使这三类信息融合到一起，首先使用卷积层分别提取特征，然后将三组特征作为不同通道连接起来，再通过一个卷积层缩减特征维度。
Backbone
网络骨干包括一个卷积层和几个顺序堆叠的残差块。卷积步长设为2以增大感受野和降低复杂度。使用残差块能加快收敛速度。论文在M和R分别设为128和16。
训练
损失函数的选择对网络训练至关重要，使用MSE可能陷入局部极小值而MAD的梯度固定，因此论文先使用MAD训练来避免陷入局部极小值然后使用MSE微调。此外，还使用旋转、镜像、缩放等方法对训练集进行数据增强。
实验结果
实验配置
训练框架实验PyTorch，训练集使用DIV2K，包含800个训练图像和100个验证图像。对不同QP分别训练模型，模型集成到VTM10.0，使用All intra配置，QP={22,27,32,37}。
结果
和VTM10.0相比，基于CNN的环路滤波YUV的BD-Rate增益分别是7.57%, 13.18%, 12.50%，表1是和相关研究的对比。
感兴趣的请关注微信公众号Video Coding
文章出处登录后可见！
