视频链接：https://www.bilibili.com/video/BV1J3411C7zd?vd_source=a0d4f7000e77468aec70dc618794d26f
代码：https://github.com/WZMIAOMIAO/deep-learning-for-image-processing
FCN是2015年提出的首个端对端的针对像素级预测的全卷积网络。
如今的pytorch实现的FCN都是基于ResNet-50的backbone，不是论文中的VGG16，且使用的是空洞卷积（也叫膨胀卷积）
pytorch官方实现的FCN网络结构图
一、相比以前网络的巨大提升：
二、传统使用池化层最后得到的其实是一个长度为1000的向量：
而换为卷积层之后，最后得到的是1000通道的2D图像，可以可视化为heat map图。
三、回顾VGG16
一般说的vgg16是D：
全连接操作前后：77512（通道）
全连接FC1计算：计算对应某一个结点的输出，将该节点与上一层某一个结点的权重与输入对应节点数值相乘，再求和
FC1参数：25088*4096=102760448
下层使用7*7的卷积核、stride=1，4096个卷积核的一个卷积层
Conv参数：77512*4096=102760448
，一共4096个卷积核，FC也是4096个节点。
PS：全连接层
全连接层的输入是一维数组，多维数组需先进行Flatten进行一维化处理，然后连接全连接层。全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。全连接图结构如下：
全连接层参数计算
权值参数=输入一维数组大小*全连接层输出结点数
偏置参数b=全连接层输出结点数
eg:
输入有[5044]个神经元结点，输出有500个结点，则一共需要5044*500=400000个权值参数W和500个偏置参数b
卷积和全连接层
卷积跟全连接都是一个点乘的操作，区别在于卷积是作用在一个局部的区域，而全连接是对于整个输入而言，那么只要把卷积作用的区域扩大为整个输入，那就变成全连接了，我就不给出形式化定义了。所以我们只需要把卷积核变成跟输入的一个map的大小一样就可以了，这样的话就相当于使得卷积跟全连接层的参数一样多。
eg:输入是224x224x3 的图像，假设经过变换之后最后一层是[7x7x512]的，那么传统的方法应该将其展平成为一个7x7x512长度的一层，然后做全连接层，假设全连接层为4096×1000层的（假设有1000个分类结果）。 那么用1×1卷积核怎么做呢，因为1×1卷积核相当于在不同channel之间做线性变换，所以：
先选择7×7的卷积核，输出层特征层数为4096层，这样得到一个[1×1×4096]层的
然后再选择用1×1卷积核，输出层数为1000层，这样得到一个[1×1×1000]层这样就搞定了。
四、FCN-32s、16s、8s的区别
上采样倍率为32的模型对应的就是FCN-32s，16s、8s同理。
FCN-32s
FCN原论文中backbone的第一个卷积层padding=100，为了防止图片过小（例如192192）后面的卷积层会报错。
如果图片小于3232的话在卷积过程就会报错。
但是没必要设置，只要输入图片大小大于32*32，我们就可以将padding设置为3。
对于FCN-32s：
-
vgg16 backbone输出的特征图大小就为h/32，w/32，512。高度宽度变为原图的1/32。
-
之后经过FC6层：由于我们将FC6卷积层的padding设置为3、卷积核大小7*7，通过FC6之后将不会改变特征图的高和宽；且我们使用了4096个卷积核，所以这里就得到了4096个2D特征图。 -
经过FC7：使用了1*1大小的卷积核，步距也为1，所以输出特征图shape也不会发生变化。 -
之后经过卷积核大小为1*1的卷积层：它的卷积核的个数和我们的分类类别数一样（包含背景，对于voc为20类+1背景），将特征图通道数变为num_cls。 -
之后通过一个转置卷积：这里的s32我们会将特征图上采样32倍【原论文中使用的是双线性插值】，得到特征图大小变为h，w，num_cls。
之后特征图经过一个softmax处理就能得到针对每一个pixel的预测类别。
前面的backbone使用的是vgg16的预训练权重，整个结构十分简单，但是效果还是非常不错的。
其实这里的转置卷积在原论文中其实是将参数给冻结住了，冻结住意味着其实它就是一个简单的双线性卷积了。
-
所以这里其实可以不使用转置卷积，可以直接使用深度学习框架提供给我们的双线性插值方法。
-
为什么会冻结呢？作者说冻结不冻结作者觉得结果好像没有什么差别，而且冻结参数会少一些。up主觉得冻结不冻节效果一般的原因是这里的上采样倍率太大了，有点强人所难的感觉。有兴趣的可以看一下u-net中的上采样率是多少。
FCN-16s
FC6、FC7、Conv2d核32s的一样。
不同点：
- 转置卷积上采样率变为了2倍，之后高和宽变为1/16
- 下面分支经过maxpool4之后变也为1/16，通道数为512；后接上了一个1*1卷积、卷积核数量为num_cls、步长为1，得到特征图大小1/16、通道数变为num_cls
- 之后进行一个相加操作，转置卷积上采样16倍就得到了原图大小h，w，num_cls
须知：vgg16经过mxpool3之后特征图大小下采样率为8，经过maxpool4后下采样率为16。
FCN-8s
不同点：
- 8s还利用了来自于mxpool3的信息，经过16s类似的1*1卷积层后得到一个1/8，通道数为num_cls的特征图；
- FCN-16s上两层后得到的1/16特征图，经过一个转置卷积上采样，采样率为2倍就能得到一个和maxpool3输出尺寸一样的1/8的特征图
- 一块进行一个相同位置元素的相加操作【进一步的融合】，最后进行一个上采样倍率为8的转置卷积就能得到一个和原图大小一样的特征图大小h，w，num_cls。
在网上看到最多的是FCN-32的实现。
五、损失计算
六、语义分割评价指标
见前言：语义分割前沿
七、代码实现
ResNet-50中先经过conv1 7*7的一个卷积
- conv_2：3*3的一个最大池化下采样，再接上3个残差块（对应右图layer1）
- conv_3：4个残差块（对应layer2）
- layer3：这里也有6个残差结构，1个Bottleneck1+5个Bottleneck2
- layer4：3个残差结构，1个Bottleneck1+2个Bottleneck2
Bottleneck1：
-
将残差连接的2*2卷积层步距改为1，原来resnet这个分支会进行一个下采样将高和宽缩短为一半，【这里因为语义分割中下采样倍率过大的话，再还原成原图后，这里的效果其实会受影响，所以我们这里就没有必要再做一个下采样了。】
-
此外主干分支3*3卷积的步距也从2改为了1，同时引入了r参数，即膨胀系数。
layer3中引出的一条FCN Head，官方回答：为了防止误差梯度没法传递到网络浅层，这里就引入了一个辅助分类器。和google net中辅助分类器是差不多的。
训练的时候是可以使用辅助分类器件的【可用可不用，都可以试一下】，但是最后去预测或者部署到正式环境的时候只用主干的output，不用aux output。
up主的代码地址：https://github.com/WZMIAOMIAO/deep-learning-for-image-processing/tree/master/pytorch_segmentation/fcn
文章出处登录后可见！
