【CNN卷积神经网络】

1. 卷积神经网络的发展历程

1962年,Hubel和Wiesel对猫大脑中的视觉系统的研究,Hubel和Wiesel记录了猫脑中各个神经元的电活动。他们使用幻灯机向猫展示特定的模式,并指出特定的模式刺激了大脑特定部位的活动。这种单神经元记录是当时的一项创新,由Hubel早期发明的特殊记录电极实现,他们通过这些实验系统地创建了视觉皮层的地图。
【CNN卷积神经网络】

1980年,日本科学家福岛邦彦在论文《Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffectedby shift in position》提出了一个包含卷积层、池化层的神经网络结构。
【CNN卷积神经网络】
1998年,在这个基础上,Yann Lecun在论文《Gradient-Based Learning Applied to Document Recognition》中提出了LeNet-5,将BP算法应用到这个神经网络结构的训练上,就形成了当代卷积神经网络的维形。Yann Lecun最早将CNN用于手写数字识别
【CNN卷积神经网络】
CNN的全称是”Convolutional Neural Network”(卷积神经网络)。而神经网络是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)结构和功能的数学模型或计算模型。神经网络由大量的人工神经元组成,按不同的连接方式构建不同的网络。CNN是其中的一种,还有GAN(生成对抗网络),RNN(递归神经网络)等,神经网络能够类似人一样具有简单的决定能力和简单的判断能力,在图像和语音识别方面能够给出更好的结果。

2. 卷积神经网络的应用领域

2.1 分类检系

【CNN卷积神经网络】

2.2 目标检测

【CNN卷积神经网络】

2.3 图像分割

【CNN卷积神经网络】

2.4 无人驾驶

【CNN卷积神经网络】

2.5 人脸识别

【CNN卷积神经网络】

2.6 其它领域

医学任务、OCR、标识识别等:
【CNN卷积神经网络】

3. 卷积神经网络工作原理

基本框架
【CNN卷积神经网络】

3.1 卷积层:

主要是用来提取图像数据的特征和学习图像数据的特征表示
【CNN卷积神经网络】
【CNN卷积神经网络】
卷积层需要定义的参数
【CNN卷积神经网络】
填充
【CNN卷积神经网络】
步长
【CNN卷积神经网络】
卷积核个数
【CNN卷积神经网络】

3.2 池化层:

池化是一种down-sampling技术,本质是基于滑动窗口的思想,可以去除特征图中的冗余信息,对卷积层结果压缩的到重要特征,同时还可以有效的控制过拟合。池化一般通过简单的最大值、最小值或平均值操作完成。
【CNN卷积神经网络】

3.3 批归一化(Batch Nomarliaztion):

为了解决层与层之间传输数据,前面层的数据更新,导致后面层数据分布的变化,会产生网络收敛慢,学习速度降低问题。Batch Nomarliaztion简化了计算过程,并保留了原始数据的表达能力。
【CNN卷积神经网络】

3.4 激活函数:

使得神经网络拥有能拟合所有非线性函数的本领。

  • sigmoid激活函数:通常在二分类任务的输出层中使用
  • tanh激活函数:通常用于分类任务的输出层和模型的隐藏层
  • ReLU激活函数:常用于回归任务和卷积神经网络的隐藏层
    【CNN卷积神经网络】

3.5 优化器:

作用:加快学习速度。
momentum动量优化:动量优化考虑更之前步骤的梯度,每一步将动量向量减去局部梯度m,并且将模型权重加上这一动量向量。换言之,梯度用于加速度,而不用于速度。
【CNN卷积神经网络】
RMSProp优化器: RMSProp优化器在累计梯度时仅使用最近步骤的,而不是从训练一开始的。
【CNN卷积神经网络】
Adam优化器:结合了动量优化和RMSProp的思想。如同动量优化,该算法记录了过往梯度的指数衰减加权平均。如同RMSProp算法,该算法记录了过往梯度平方的指数衰减加权平均
【CNN卷积神经网络】

3.6 随机失活dropout方法:

在每个训练步骤中,每个神经元(包括输入神经元,但不包括输出神经元)都有p概率暂时性
被忽略,但在这一步中被忽略的神经元可能在下一步中活跃,如下图所示。超参数p称为dropout概率,通常设为10%到50%。训练结束后,神经元在预测和使用阶段不会被忽略。使用dropout后神经网络的精度能够提升1 -2%。可以防止过拟合。
【CNN卷积神经网络】

3.7 全连接层

全连接层:当一层中的神经元与前一层的所有神经元都相连时,该层则称为全连接层(dense layer)。主要作用是将输入图像,在经过卷积和池化操作后提取的特征进行压缩,并且根据压缩的特征完成模型的分类功能。
【CNN卷积神经网络】

4. 残差网络

ResNet卷积神经网络结构赢得了2015年的ImageNet图像分类挑战赛,由Kaiming He等人提出,其前五预测错误率达到了3.6%。该结构包含了极其深的卷积层,达到了152层。总体趋势而言,模型变得越来越深,参数变得越来越少。而训练深度网络的关键则是使用跳跃连接(skip connection),即某一层的输入同时会加入更深层的输出。具体而言,训练神经网络的目标是构造一个目标函数h (x),当把输入x加入网络的输出时,则网络会试图构造 f(x)=h(x)-x而不是h(x),这就称为残差学习。
【CNN卷积神经网络】

4.1 残差块

残差块就是有跳跃连接那—部分。
【CNN卷积神经网络】

4.2 残差网络

残差网络可以解决当网络非常深时出现的梯度爆炸和梯度消失问题。
【CNN卷积神经网络】

4.3残差网络的工作方式

当网络加深时,通过恒等函数可以保证网络性能不受影响,甚至可以提高效率。如果输入和输出有不同的维度,会使用一个1×1的卷积来升高或者降低输入维度
【CNN卷积神经网络】

4.4 ResNet-50

残差网络网络结构
【CNN卷积神经网络】
ResNet50:第5列,首先有一个7×7×64的卷积,然后经过3+4+6+3=16个残差块,每个块有3个卷积层(如图(3)),所以有16×3=48,最后有一个全连接层(fc),一共是1+48+1=50层。

参考文献:
https://www.bilibili.com/video/BV1FT4y1E74V?p=66
https://www.bilibili.com/video/BV1FT4y1E74V?p=67
https://www.bilibili.com/video/BV1FT4y1E74V?p=68
https://www.zhihu.com/question/41037974
https://blog.csdn.net/qq_42118719/article/details/113544673

本人学习模式识别课程陈莹、黎耀娟提供参考资料
特此鸣谢!!!

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
上一篇 2022年6月8日 上午10:44
下一篇 2022年6月8日 上午10:47

相关推荐

本站注重文章个人版权,不会主动收集付费或者带有商业版权的文章,如果出现侵权情况只可能是作者后期更改了版权声明,如果出现这种情况请主动联系我们,我们看到会在第一时间删除!本站专注于人工智能高质量优质文章收集,方便各位学者快速找到学习资源,本站收集的文章都会附上文章出处,如果不愿意分享到本平台,我们会第一时间删除!