U-Net 模型改进和应用场景研究性综述

1 文章介绍

在这里插入图片描述

闲来无事，被封宿舍，代码不好码，正好有几篇综述，拿来看看，这篇文章主要从U-Net模型的结构性和非结构性改进两个方向做出综述，同时还介绍了视网膜血管，肺结节，肝脏肝脏肿瘤，脑肿瘤四种典型任务为例，阐述不同数据的分割特点和难点；

2 U-Net介绍

参考之前的一篇文章：U-Net代码练习

对U-Net有一定了解之后，一定要动手跑一下，加深映像；总的来说，U-Net 网络模型结构主要包括编码器、解码器和跳跃连接部分。编码器用于提取抽象特征和上下文信息，解码器用于将图像逐步恢复至原始尺寸，而跳跃连接则将不同层次的特征进行融合。

3 结构改进

结构性改进就三种情况，编码器解码器改进，跳连接改进，以及模型整体结构改进；大部分改进工作是在原有模块的基础上，增加残差模块、Dense 模块、Inception 模块、Attention 模块等经典网络模块，或综合运用其中的几种模块，以提高网络的分割性能。

2018年的一篇MDU-Net: Multi-scale Densely Connected U-Net for biomedical image segmentation，就是添加了Dense和Inceptioon模块，然后不同层之间进行特征连接，增加网络的学习能力，结构图如下：
在这里插入图片描述

代码如何实现呢：应该是定义好各个卷积模块和采样模块，在def forward中来回的进行连接吧，有机会就回来实现一下代码；

2018年的另外一篇文章，Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation，与原始 U-Net 相比，这种网络分别在编/解码器阶段用循环卷积层（RCLs）和带有残差单元的循环卷积层（RCLs）代替原有的正向卷积层，使得网络在不增加参数量的同时具有优于U-Net和ResU-Net 的分割性能，网络结构图如下：
在这里插入图片描述

代码如何实现呢：不太会，因为这个循环卷积层没用过，只是在NLP任务中听说过循环神经网络(RNN)，不知道是否有关系？

2019年一篇顶会文章，Prostate Segmentation using 2D Bridged U-net，文章中是串联了U-Net，每个跳连接之间在通过其他方式连接起来，比较适合病灶分割，结合我之前看过的一篇文章，也是串联U-Net，主要用来进行视网膜血管分割，可以对比学习一下，文章链接：Iter-Net——迭代式U-Net变型

在这里插入图片描述

代码如何实现呢：可以封装U-Net，将跳连接部分的接口放出来，但是可能也不太好实现，最莽的手段就是在forward里面按部就班的写；

再来一篇2018年的顶刊文章M-Net，发表在TMI上的文章，主要思想，将输入图片缩放成不同的大小传入U-Net的每一层，同时也将U-Net每一层的输出都拿出来进行损失计算，反向传播，这样可以的大大增加拟合强度，我第一次接触这种每一层都输出结果进行计算的思想，是在 U-Net 模型改进和应用场景研究性综述中，文章讲解：套娃式U-Net网络结构；M-Net网络结构如下：
在这里插入图片描述

代码如何实现：我猜将图片缩放之后，存入列表中做参数传入网络结构中，那GT图像也要进行同比例的缩放，这样计算Loss时才方便，同时，训练和测试时，输入输出可能不一样，这在中有表现；

那针对U-Net的结构型改进总结如下：
在这里插入图片描述

4 非结构改进

4.1 预处理——数据增强

数据增强的目的是有意地从原始训练数据中生成更多的训练数据来提高网络性能，常见的数据增强方法有镜像对称、旋转、翻转、随机裁剪等；最最重要的，也是我新学到的：Image Patch操作，在血管分割中，将大图片裁剪成多个小图片，这样能大大增加图片数量！！
数据增强的方法有很多，但具体选择哪些数据增强方法往往不是固定的，何种数据增强技术是最佳的也很难衡量。在实际应用中，要根据训练数据集的特点进行合理选择，使网络具有最佳的泛化能力和鲁棒性，进而有助于网络性能的提升；

代码如何实现呢：Pytorch有自带已集成好的方法，但是传入参数是单个的PIL或者是Numpy数据，不能是object或者是List数据，意味着你需要调用两次才能实现原始图像和GT图像同时变换，而且有时候随机数不同，两者的变化也不同，因此，建议在github上找一个大神写好的，然后自己修修改改，作为自己的，同时以后也可以作为实验室祖传代码传下去，哈哈哈哈哈！

4.2 训练——数据归一化

常见的是BN，BN 层可使网络中的数据分布得更均匀，从而可以缓解梯度弥散，加快训练速度，但BN算法容易受到batch size的影响，因此出现了样本归一化（IN），即只对每个样本进行类似 BN 的标准化处理，使其不受通道和 batch size 的影响；组归一化（GN）将通道划分为组，在组内计算数据的均值和方差，进而实现对图像的归一化处理，之后还有集大成者，谷歌在 2019 年提出了新的归一化层 ——FRN（filter response normalization），它既能解决 mini batch 问题，又能在 batch 较大时具有比使用 BN 更好的性能，5种归一化方法介绍：BN、GN、LN、IN、SN 、FRN

4.3 训练——激活函数

激活函数可使输入输出之间生成非线性映射，从而使得网络能够学习更为复杂的内容 。 U-Net 网络及大部分的改进网络均使用 ReLU 函数进行激活，能够有效避免和纠正梯度消失问题；但是其也存在着梯度消失问题；因此人们剔除LeakReLU，ELU，mish等激活函数，常见激活函数如下：Pytorch 非线性激活函数

代码如何实现：有时候不同的激活函数产生的效果不同，Pytorch提供的激活函数非常的全面，重点是学习前辈论文，然后有选择性的使用激活函数，这个在发表论文中，如果仅仅只是使用，是不够发论文的，除非你新发明了一种新的激活函数！

4.4 训练——损失函数

损失函数是神经网络寻找最优权重参数的指标。常用的损失函数有BCELoss，BCE，DIceLoss， IoULoss等，同时组合使用损失函数也是当前发论文的一种方向，但是想要取得成果，其实还是很难的，毕竟你不仅要有效果，还有指出为何有效果；不同的损失函数优化目标不同，有时候选择不同的损失函数，都会导致训练不收敛，因此损失函数寻找和组合需要谨慎和细心，Pytorch现有损失函数如下：Pytorch Loss

代码如何实现：Pytorch集成的损失函数只有一少部分，大部分的分割损失函数需要自己实现，这里就需要平时多看GitHub进行收集了，收集好了，作为实验室祖传代码，哈啊哈！

4.5 结构改进总结

针对 U-Net 网络在结构改进和非结构改进方面取得的成效，按照改进的目的对改进措施和代表性网络进行了归纳总结，结果如下：
在这里插入图片描述

5 U-Net应用场景

根据不同的疾病图像特点，我们采取适当的措施对 U-Net 模型加以改进，并将其应用于不同医学图像的分割中，会取得不错的效果。下面将对 U-Net 及其改进后的网络在视网膜血管分割、肺结节分割、肝脏和肝脏肿瘤分割、脑肿瘤分割四种不同医学图像分割中的应用研究进行总结：

5.1 视网膜血管分割

二维彩色眼底图和三维光学相干断层扫描（OCT）图像是眼科疾病最常见的诊断依据；
其本身存在的困难点为结构极其复杂，具有很高的弯曲度，且形态各异，同时视网膜血管细小，分叉和交叉区域较多，分割精度要求较为严格；文章中举例了DUNet: A deformable network for retinal vessel segmentation，在三个公开数据集DRIVE、STARE 和 CHASE上的分割效果很好，优于传统的U-Net，针对血管分割，需要提升网络学习细小血管的能力，因此需要更多的信息采集模块，文章后面提到的添加Inception模块，也是相同的思想；同时，我之前看过的一篇文章Iter-Net：Iter-Net——迭代式U-Net变型，也是通过串行U-Net提升网络分割精度的；

5.2 肺结节分割

通过观察 CT 图像中肺结节的纹理特征，可以较为清晰地判断病人是否有肺癌隐患，并量化分析肺癌的恶性程度，从而高效地辅助医生进行诊断；
其存在的分割难点在于：肺结节体积微小，与肺实质中的血管等组织相似，且在 CT 图像中存在边缘模糊、对比度低、灰度不均匀等问题，容易受到噪声和伪影的影响，从而在一定程度上对医生的诊断造成了干扰；
文章中举例了Dense U-Net，Res U-Net，也有添加了Inception的U-Net，分割效果都不断的优化，同时最令我注意的是，其实很多分割存在着两个阶段，第一阶段是粗分割，分割出大致区域或者是个数，第二阶段，精细分割，确定分割范围，这个我没接触过，以后可以试一试；
同时文章中主要列举了分割的改进方法：

通过引入条件随机场能够关联不同像素之间的关系，对边缘模糊的情况有较好的改善作用；
通过引入密集连接或构建子网络模块，促进多尺度特征的提取，有助于网络对不同尺寸肺结节的分割，特别是小结节区域或血管粘连部位，但这会在一定程度上增加网络的计算成本；
引入空间注意力模块和通道注意力模块有助于增强特征提取的有效性以及网络对不同尺度特征的提取能力；
增加深度监督机制能够进一步优化网络的分割性能，在一定程度上减少假阳性的发生。

5.3 肝脏和肝脏肿瘤分割

实现肝脏精准分割有助于肝段切除和肝移植体积测量。因此这一块主要说的是3D领域的分割；
其分割难点在于：肝脏和肝脏肿瘤在形状和大小上都是不规则的，它们可能与周围的器官比较相似；由于仪器设备参数不同，CT 图像间的灰度值也存在差异，进而肝脏所显示的位置也不同。
从文中介绍的三个网络来看，增加三维条件随机场的 3D UNet-C2 能够有效减少假阳性，剔除非肝脏区域，同时优化肝脏边缘的分割效果。 BSU-Net 能够更好地控制形状变形、减少假阳性和假阴性，从而验证了使用密集连接模块及扩展编码路径的有效性。LV-Net 通过使用深度监督机制使网络在减少参数量的同时仍然具有较好的分割表现。

5.4 脑肿瘤分割

MRI 是一种典型的非侵入式成像技术，能够生成高质量的无损伤和无颅骨伪影的脑影像，是进行脑肿瘤诊疗的主要技术手段。
脑肿瘤区域的分割难度相比其他种类图像的分割难度更大，不同的肿瘤区域又存在不同的分割难点。比如：

完整肿瘤区域（WT）易将背景部分分割进来，造成过分割；
肿瘤核心区域（TC）易与其他区域产生粘连；
增强肿瘤区域（ET）多存在点状、不连续的细小肿瘤，分割难度更大。

公开数据集是：BRATS，文章中提到了3D-HDC-UNet网络结构，其中通过Dice 损失和 Focal 损失的混合损失函数替换原来单一的 Dice 损失函数，加强了稀疏类对损失函数的贡献，提高了肿瘤核心区域的分割精度；
从文章分析结果来看：

通过引入密集连接和残差连接能够有效改善该问题，不仅能更加细致地分割出肿瘤核心区域，避免与其他区域粘连，同时对分割难度最大的增强肿瘤区域也能够很好地进行分割；
包含刚性或仿射的变形以及包括亮度和弹性变形的数据增强方法对全部完整肿瘤和肿瘤核心区域分割的改善作用明显，但对增强肿瘤区域分割的改善效果不明显；
混合膨胀卷积的使用有助于对大区域的分割，混合了 Dice 损失和 Focal 损失的损失函数有利于对小区域目标的识别，同时对分割难度较大的肿瘤核心和增强肿瘤区域的识别也更加准确。

5.5 不同应用场景总结

不同类型的疾病在进行诊断时所使用的图像略有不同，比如 视网膜区域的疾病往往通过眼底彩色图像进行诊断 ，肺结节和肝脏肿瘤常通过 CT 图像进行诊断 ，而脑肿瘤一般通过磁共振图像进行诊断。各部位的图像具有各不相同的特点，因此在进行图像分割时也存在不同的分割难点。针对各种问题，研究人员采取了相应的改进措施，有效地提高了分割精度和网络性能。根据上述内容，本文对 U-Net 及其改进网络在各类疾病图像分割中的相关应用进行了总结，具体如下：
在这里插入图片描述

6 总结

通过研究大量相关改进工作可以看出，U-Net 模型的改进，网络结构改进中，残差模块、Dense 模块、Inception 模块和 Attention 模块是最常见的引入模块，这些模块能够使网络有效提取特征，充分利用上下文信息，从而提高分割精度；对于引入的卷积来说，扩张卷积和可变形卷积最为常见，它们能够调整感受野的大小，减少参数量，使网络可以利用不同层次的特征，从而有效避免过拟合；
非结构改进对网络性能提升的有效性也逐渐得到了关注，有些研究者在进行网络结构改进的同时，充分考虑了数据增强和数据归一化方法的综合运用，并提出了一些新的混合损失函数，有针对性地训练网络，从而提升了网络的性能；
自己的想法：

是将其真正落地，做成接口嵌入到硬件中；
进行半监督和无监督的网络改进；
将Transformer引入到医学图像分割中；

文章出处登录后可见！

已经登录？立即刷新