【深度学习学习资料记录】

图像超分辨率介绍:

sr的比较全面的基本知识介绍:https://zhuanlan.zhihu.com/p/393371989

基本任务

低分辨率重建到高分辨率,如2x,4x,8x等
根据任务可以分为单图片超分SISR,多图片超分和视频超分等
其他特殊分类:(个人初步认识,很可能存在认识错误)
盲图像超分blind sr:复杂多级策略模拟真实失真,如下采样+模糊+噪音+JPEG画质转换等
参考图片超分ref sr:给定类似场景其他高清图像,有参考reference图像
相机超分camera sr:针对相机拍摄过程中的失真进行模拟仿真?相机采集高低分辨率图像?

数据集

一般会使用已知的下采样方式(最常用bicubic)来得到成对的数据(但是不能很好的模拟真实情况),部分采用不同的相机或者相机不同的配置,获取成对高低分辨率图片(获取难度大需要配准)。
其他参考:https://mp.weixin.qq.com/s/bWJmv0Z4M91La5NmDeY3ag

模型结构:

从引入深度学习方法SRCNN (ECCV2014,先bicubic上采样再三层卷积拟合高分辨率结果),到加速方法使其更加实时性FSRCNN(ECCV2016,先不扩大图像尺寸最后再反卷积放大,1×1卷积降维和升维),提出新的亚像素上采样方式ESPCN(CVPR2016, HWrr —-> rHrW), 采用残差的方式降低学习难度?VDSR(CVPR2016,全局残差)等等。 引入GAN方法提高感官质量,引入更多高频细节SRGAN(CVPR2016,判别器区分真实高分辨率图像和生成重建的高分辨率图片)及其发展优化ESRGAN,real-ESRGAN。(参考https://wjrsbu.smartapps.cn/zhihu/article?id=31664818&isShared=1&_swebfr=1&_swebFromHost=heytapbrowser)
—–>好奇各种激活函数的效果和对比(ReLU,tanh,PReLU等)

上采样方法:

插值方法:最近邻插值、双线性插值、双三层bibubic插值
cnn方法:反卷积、亚像素sub-pix

上采样方式:

前置:先上采样再神经网络拟合,如srcnn,先bicubic上采样,优点拟合难度小,缺点一开始就高分辨率cnn计算量大,
后置:先神经网络特征提取,最后采用cnn方法进行上采样,引入噪音少速度快,成为主流方法
渐进:中间过程不断上采样,多级结构渐进恢复(1x->2x->4x->8x)如lapsrn
反复上下采样:?

损失函数:

像素损失:l1,l2计算超分辨率恢复图像和原始高分辨率图像之间的像素差
感知损失:在特征图上进行特征差异计算,一般采用vgg,是否会更换成实际任务训练的backbone更好?
对抗损失:cnn区分是否为真实还是生成的超分辨率图像,或者概率

评价标准:

定量指标:PSNR、SSIM直接计算
定性:人工观察评价MOS

用处:

(1)提高图像观感,如手机相册
(2)辅助提高其他任务,如图像分类、目标检测?

深度学习的sr方法发展介绍:

https://wjrsbu.smartapps.cn/zhihu/article?id=31664818&isShared=1&_swebfr=1&_swebFromHost=heytapbrowser

sr论文汇总:

https://yapengtian.org/Single-Image-Super-Resolution/

视频超分辨率资料:

比较好的拆解:https://zhuanlan.zhihu.com/p/331454415

cv自监督介绍入门:

simclr系列、moco系列、swav、byol、simsiam方法介绍与发展:

https://www.zhihu.com/search?type=content&q=cv%E8%87%AA%E7%9B%91%E7%9D%A3%E7%BB%BC%E8%BF%B0

目标检测模型训练技巧

https://mp.weixin.qq.com/s?__biz=MzIyMjIxNDk3OA==&mid=2651682070&idx=2&sn=3a6f5be7e461b5d32e75ac88da4327fe&chksm=f3c93b3bc4beb22d1b74eff4f294d9914747282158fd2c50c5a6c9bdf55cb9a79873e540f1a1&cur_album_id=1338480951000727554&scene=189#wechat_redirect

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
上一篇 2022年5月19日 下午12:23
下一篇 2022年5月19日 下午12:27

相关推荐

本站注重文章个人版权,不会主动收集付费或者带有商业版权的文章,如果出现侵权情况只可能是作者后期更改了版权声明,如果出现这种情况请主动联系我们,我们看到会在第一时间删除!本站专注于人工智能高质量优质文章收集,方便各位学者快速找到学习资源,本站收集的文章都会附上文章出处,如果不愿意分享到本平台,我们会第一时间删除!