第 5 章 – 卷积神经网络基础 – 使用八冲程方法构建卷积神经网络
本次讲座的目标：
介绍神经网络基本概念，用八股法实现卷积神经网络（以cifar10为例，本节建立的框架作为后续网络的baseline，在baseline中修改实现其他网络）。参考视频。

0.回顾全连接神经网络

每个神经元与前后相邻层中的每个神经元都有连接关系，输入为特征，输出为预测结果。全连接网络的参数个数为：

第一层参数：784×128+128
第二层参数：128×10+10
总共101770个参数

但在实际应用中，大部分图片都是高分辨率的多通道图片，如下图所示：

这种直接输入全连接网络会导致需要优化的参数过多，容易导致模型过拟合。
为了解决由于参数量大而导致模型过拟合的问题，一般不直接输入原图，而是对图像进行特征提取，然后将提取的特征输入全连接网络，如图下图中，是汽车图像经过多次特征提取后发送到全连接网络。

1.卷积计算过程

1.1-卷积概念

卷积计算可以被认为是提取图像特征的一种有效方法。一般采用方形卷积核按照指定的步长在输入特征图上滑动，遍历输入特征图中的每个像素。
在每一步，卷积核都会出现在与输入特征图重叠的区域。重叠区域的对应元素相乘、相加并与偏移项相加，得到输出特征的一个像素。详细计算如下图所示：

输入特征图的深度（channel），决定了当前层卷积核的深度），当前层卷积核的个数，决定了当前层输出特征图的深度。

1.2-卷积核的表示

左图是单通道的3×3卷积，共10个参数；
中间是三通道的3×3卷积，共28个参数；
右图是三通道的5×5卷积，共76个参数。

1.3-单通道图像卷积计算

1.4-RGB通道图像卷积计算

2.感受野

2.1-感受野（Receptive Field）计算

感受野是指卷积神经网络输出特征图中每个像素的大小，以及原始输入图像上映射区域的大小。

感受野的相关概念和大小选择可以参考这篇文章。

3.全零填充

3.1-全零填充计算

为了保持输出图像尺寸与输入图像一致，经常会在输入图像周围进行全零填充，如下图所示，在5×5的输入图像周围填0，则输出的尺寸仍为5×5。

( (-1 )x0+ 0x2+1×1
+(-1 )x0+0x9+1×5
+(-1 )x0+0x2+1×3
+1=10 输出图片边长 = 输入图片边长/步长。此图： 5 / 1 = 5

3.2-全零填充TF描述

tensorflow描述全零填充用参数padding=’SAME’或padding=’VALID’表示。

4.TF描述卷积层

tf.keras.layers.Conv2D (
filters = 卷积核个数,
kernel_size = 卷积核尺寸, 
strides =  滑动步长, 
padding = “same” or “valid”, #使用全零填充是“same”，不使用是“valid”（默认）
activation = “ relu ” or “ sigmoid ” or “ tanh ” or “ softmax”等 , # 如有BN 此处不写
input_shape = (高, 宽 , 通道数) #输入特征图维度，可省略
)

卷积层的表示如下：

5.批标准化（Batch Normalization,BN）

标准化：使数据符合0均值1为标准差的分布
批标准化：对一小批数据（batch），做标准化处理

6.池化层

池化用于减少特征数量；
最大池化可以提取图像纹理；

tf.keras.layers.MaxPool2D(
pool_size= 池化核尺寸， 
strides= 池化步长，#默认为pool_size
padding=‘valid’or‘same’ #（默认）“valid”
)

均值池保留背景特征；

tf.keras.layers.AveragePooling2D(
pool_size= 池化核尺寸， 
strides= 池化步长，#默认为pool_size
padding=‘valid’or‘same’ # （默认）“valid”）
)

7.舍弃层（Dropout）

在神经网络训练过程中，一些神经元会按照一定的概率从神经网络中临时丢弃。
当使用神经网络时，丢弃的神经元被重新连接。

tf.keras.layers.Dropout(舍弃的概率) 在 Tensorflow 框架下，利用 tf.keras.layers.Dropout 函数构建 Dropout 层，参数为舍弃的概率（大于 0 小于 1）。

8.搭建卷积神经网络（CBAPB）

8.1-CBAPB组成

利用上述知识，就可以构建出基本的卷积神经网络（CNN）了，其核心思路为在 CNN中利用卷积核（kernel）提取特征后，送入全连接网络。
CNN 模型的主要模块：一般包括上述的卷积层(Conv2D)、BN 层、激活函数(Activation)、池化层(Pooling)、失活（舍弃）层（Dropout）以及全连接层。

故取特征提取部分的各个模块的首字母，组成CBPAB。
请记住，以下五个组件构成了卷积：

Conv2D、BatchNormalization、Activation、Pooling、Dropout

卷积就是特征提取器：CBAPB
Conv2D、BatchNormalization、Activation、Pooling、Dropout
卷积就是特征提取器：CBAPB
Conv2D、BatchNormalization、Activation、Pooling、Dropout
卷积就是特征提取器：CBAPB
Conv2D、BatchNormalization、Activation、Pooling、Dropout
卷积就是特征提取器：CBAPB
Conv2D、BatchNormalization、Activation、Pooling、Dropout
卷积就是特征提取器：CBAPB
Conv2D、BatchNormalization、Activation、Pooling、Dropout
卷积就是特征提取器：CBAPB
Conv2D、BatchNormalization、Activation、Pooling、Dropout
卷积就是特征提取器：CBAPB
Conv2D、BatchNormalization、Activation、Pooling、Dropout
卷积就是特征提取器：CBAPB
Conv2D、BatchNormalization、Activation、Pooling、Dropout
卷积就是特征提取器：CBAPB
Conv2D、BatchNormalization、Activation、Pooling、Dropout

8.2-CBAPB示例

搭建如下网络,记住CBAPB
卷积就是特征提取器，就是CBAPB。

卷积就是特征提取器：CBAPB

Conv2D、BatchNormalization、Activation、Pooling、Dropout

9.八股法搭建完整卷积神经网络

9.1-完整代码

#六步法第一步->import导入需要的包
import  tensorflow as tf
import  os
import  numpy as np
from matplotlib import  pyplot as plt
from tensorflow.keras.layers import Conv2D,BatchNormalization,Activation,MaxPool2D,Dropout,Flatten,Dense
from tensorflow.keras import Model
np.set_printoptions(threshold=np.inf)

#六步法第二步->输入train,test
cifar10=tf.keras.datasets.cifar10
(x_train,y_train),(x_test,y_test)=cifar10.load_data()
x_train,x_test=x_train/255.,x_test/255.

#六步法第三步->Model搭建网络结构

class Baseline(Model):
    def __init__(self):
        super(Baseline,self).__init__()
        #卷积就是CBAPD
        #C
        self.c1=Conv2D(filters=6,kernel_size=(5,5),padding='same')#卷积层
        #B
        self.b1=BatchNormalization()#BN层
        #A
        self.a1=Activation('relu')#激活层
        #P
        self.p1=MaxPool2D(pool_size=(2,2),strides=2,padding='same')#池化层
        #D
        self.d1=Dropout(0.2)#dropout层

        self.flatten=Flatten()
        self.f1=Dense(128,activation='relu')
        self.d2=Dropout(0.2)
        self.f2=Dense(10,activation='softmax')

    def call(self,x):
        x=self.c1(x)
        x=self.b1(x)
        x=self.a1(x)
        x=self.p1(x)
        x=self.d1(x)

        x=self.flatten(x)
        x=self.f1(x)
        x=self.d2(x)
        y=self.f2(x)
        return  y

model=Baseline()
#六步法第四步->compile配置模型
model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False),
              metrics=['sparse_categorical_accuracy'])

#加载已经有的模型，如果没有则不加载
checkpoint_save_path='./checkpoint/Baseline.ckpt'
if os.path.exists(checkpoint_save_path+'.index'):
    print('-------load the model-------')
    model.load_weights(checkpoint_save_path)

#编写自动保存模型的回调函数
cp_callback=tf.keras.callbacks.ModelCheckpoint(
    filepath=checkpoint_save_path,
    save_weights_only=True,
    save_best_only=True
)

#六步法第五步->fit训练模型
history = model.fit(x_train, y_train, batch_size=32, epochs=5, validation_data=(x_test, y_test), validation_freq=1,
                    callbacks=[cp_callback])
#六步法第五步->summary查看网络模型
model.summary()

# print(model.trainable_variables)
file = open('./weights.txt', 'w')
for v in model.trainable_variables:
    file.write(str(v.name) + '\n')
    file.write(str(v.shape) + '\n')
    file.write(str(v.numpy()) + '\n')
file.close()

###############################################    show   ###############################################
acc = history.history['sparse_categorical_accuracy']
val_acc = history.history['val_sparse_categorical_accuracy']
loss = history.history['loss']
val_loss = history.history['val_loss']

plt.subplot(1,2,1)
plt.plot(acc,label='Training Accuracy')
plt.plot(val_acc,label='Validation Accuracy')
plt.title('Training and Validation Accuracy')
plt.legend()

plt.subplot(1, 2, 2)
plt.plot(loss, label='Training Loss')
plt.plot(val_loss, label='Validation Loss')
plt.title('Training and Validation Loss')
plt.legend()
plt.show()

9.2-输出结果

Downloading data from https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz
170500096/170498071 [==============================] - 3s 0us/step
170508288/170498071 [==============================] - 3s 0us/step
Epoch 1/5
1563/1563 [==============================] - 19s 6ms/step - loss: 1.6454 - sparse_categorical_accuracy: 0.4035 - val_loss: 1.4076 - val_sparse_categorical_accuracy: 0.5007
Epoch 2/5
1563/1563 [==============================] - 9s 6ms/step - loss: 1.3999 - sparse_categorical_accuracy: 0.4932 - val_loss: 1.2718 - val_sparse_categorical_accuracy: 0.5448
Epoch 3/5
1563/1563 [==============================] - 9s 6ms/step - loss: 1.3375 - sparse_categorical_accuracy: 0.5205 - val_loss: 1.2459 - val_sparse_categorical_accuracy: 0.5546
Epoch 4/5
1563/1563 [==============================] - 9s 6ms/step - loss: 1.2863 - sparse_categorical_accuracy: 0.5368 - val_loss: 1.3322 - val_sparse_categorical_accuracy: 0.5338
Epoch 5/5
1563/1563 [==============================] - 9s 5ms/step - loss: 1.2570 - sparse_categorical_accuracy: 0.5509 - val_loss: 1.1740 - val_sparse_categorical_accuracy: 0.5871
Model: "baseline"
_________________________________________________________________
 Layer (type)                Output Shape              Param #   
=================================================================
 conv2d (Conv2D)             multiple                  456       
                                                                 
 batch_normalization (BatchN  multiple                 24        
 ormalization)                                                   
                                                                 
 activation (Activation)     multiple                  0         
                                                                 
 max_pooling2d (MaxPooling2D  multiple                 0         
 )                                                               
                                                                 
 dropout (Dropout)           multiple                  0         
                                                                 
 flatten (Flatten)           multiple                  0         
                                                                 
 dense (Dense)               multiple                  196736    
                                                                 
 dropout_1 (Dropout)         multiple                  0         
                                                                 
 dense_1 (Dense)             multiple                  1290      
                                                                 
=================================================================
Total params: 198,506
Trainable params: 198,494
Non-trainable params: 12
________________________________________________________________

10.总结八股创建神经网络

10.1 import

引入tensorflow、keras、numpy、matplotlib等库，可以同时引入keras中的layers、models等库方便调用内部的API。

10.2 train,test

读取数据集，可以来源于框架本身带的数据集，如mnist,fashion，鸢尾花数据集等。或者实际应用中需要自己制作数据集。

10.3搭建神经网络结构—-Sequential or class

当网络结构比较简单时，可以利用keras中的tf.keras.Sequential 来搭建顺序网络模型。
但当网络不是简单的顺序模型时（如残差网络）,则需要用class来定义自己的网络结构。

10.4model.compile

对搭建好的网络进行编译，需要指定优化器（Adam、sgd、RMSdrop）、损失函数（交叉熵、均方差）以及需要记录的准确率和损失值（acc/loss）

10.5 model.fit

指定训练数据、验证数据、迭代次数、批量大小等。由于神经网络的参数量和计算量一般都比较大，训练时间会比较长，所以这里会加入断点连续训练和模型参数的保存，让训练更加方便。它还可以防止由于程序意外停止而导致数据丢失。

10.6 model.summary

打印出神经网络模型的具体信息，包括网络结构、网络层参数等，方便对网络的浏览和检查。

原文链接：https://blog.csdn.net/qq_39400324/article/details/123299537

人工智能实践Tensorflow2.0 第五章–1.卷积神经网络基础–八股法搭建卷积神经网络–北京大学慕课