基于采样训练和节点继承的注意力卷积网络的高效进化搜索

H。Zhang, Y。Jin, R。Cheng and K。Hao, “Efficient Evolutionary Search of Attention Convolutional Networks via Sampled Training and Node Inheritance,” in IEEE Transactions on Evolutionary Computation, vol。25, no。2, pp。371-385, April 2021, doi: 10.1109/TEVC

内容

1. 摘要

1.1贡献点:

二、文章内容

2.1 SI-EvoNAS

2.2 From Blocks to Neural Networks  (提出多尺度注意力模块)

3.详细的算法框架

3.1 主要框架

3.2 初始化过程

3.3 基于节点继承的采样训练

3.4 节点继承

四、效果

1. 摘要

深度神经网络的性能在很大程度上依赖于它的结构,各种神经结构搜索策略已经被开发为自动网络结构设计。近年来,进化神经结构搜索(EvoNAS)由于进化算法具有具有吸引力的全局优化能力而受到越来越多的关注。然而,EvoNAS的计算成本非常高,因为在进化优化过程中通常需要大量的性能评估,而训练深度神经网络本身的计算成本也非常昂贵。

为了解决这个问题,本文提出了一种基于有向无环图的卷积网络进化搜索框架,其中对每个小批量训练数据进行随机采样和训练。此外,通过节点遗传策略,可以在不训练后代个体的情况下评估所有后代个体的适应度。最后,我们在搜索空间中编码了一种通道注意机制,以增强进化神经网络的特征处理能力

1.1贡献点:

  1. 提出了一种在父母群体中训练个体的抽样策略。
  2. 提出了一种利用单点交叉和交叉突变产生后代个体的节点遗传策略。
  3. NAS采用了一种多尺度通道注意机制。
  4. 实现先进的精度

二、文章内容

2.1 SI-EvoNAS

图a表示搜索空间SI-EvoNAS
一个由8个节点表示的DAG示例块,包括两个源节点(节点1和节点2)、5个计算节点(节点3、4、5、6、7)和输出节点(节点8)。 输出节点连接计算节点

基于采样训练和节点继承的注意力卷积网络的高效进化搜索

图b二叉树表示的计算节点的结构
其中两个计算操作(例如,深度可分卷积层或平均池层)应用于两个输入(X1,X2),然后通过合并操作组合。

基于采样训练和节点继承的注意力卷积网络的高效进化搜索

图c由5个块组成,图d网络由11个块组成。

基于采样训练和节点继承的注意力卷积网络的高效进化搜索

块结构类型及对应编码

基于采样训练和节点继承的注意力卷积网络的高效进化搜索

2.2From Blocks to Neural Networks(提出多尺度注意力模块)

FR Conv operation

空洞卷积,输入端先全局平均池化(GAP)操作,获取特征图的通道权重,接着经过Sigmoid激活函数,最后将权重赋予特征图。其实就是一种通道注意力机制

基于采样训练和节点继承的注意力卷积网络的高效进化搜索

Dilated Conv的好处是不做pooling损失信息的情况下,加大了感受野,让每个卷积输出都包含较大范围的信息。

基于采样训练和节点继承的注意力卷积网络的高效进化搜索

3.详细的算法框架

3.1 主要框架

节点之间不同的连接关系会导致大量不同架构的神经网络。

论文使用SI-EvoNAS学习节点之间的连接关系,并为深度神经网络找到更好的拓扑结构。 除了源节点外,DAG中的每个节点都表示一些局部计算,这是由权重和偏差指定的。

由于对亲代个体(亲代群体中已有的神经网络模型)进行遗传操作产生的后代个体(新的神经网络模型)可以看作是对亲代模型节点的重组,因此后代个体的参数可以可以直接从父模型中推导出来。网络继承。论文称其为方法节点继承。

基于采样训练和节点继承的注意力卷积网络的高效进化搜索

基于采样训练和节点继承的注意力卷积网络的高效进化搜索

SI-EvoNAS的算法框架如下:

1.输入:种群大小K,进化代数G,训练数据Dtrain和测试数据Dvalid。

2.初始化化种群过程由算法2表示

3.进化终止条件:进化代数等于G

3.训练个体Pt的过程由算算法3表示

4.个体Pt适应度评估

5.通过算法4产生新个体Qt

6.评估新个体Qt

7.根据适应度从新旧个体中选择最好的个体Pbest

8.如果Pbest不在种群里,那么就用Pbest替代最差的个体

9.输出:最好个体Pbest

SI-EvoNAS输出最佳个体,并将其解码成相应的神经结构

父个体随机抽样并在一小批训练数据上进行训练,而后代个体使用节点继承策略生成,无需适应度评估训练。

3.2 初始化过程

每个节点由4个整数基因编码。前两个数字表示节点索引,它表示节点的输入。最后两个表示每个输入的操作类型。不同节点的基因按顺序堆叠在一起,编码一个区块,因此一个由4个区块组成的整个网络的染色体,共有80个组成基因。
图a表示一个编码网络和对应的解码网络

基于采样训练和节点继承的注意力卷积网络的高效进化搜索

图b表示块结构及其编码示例

基于采样训练和节点继承的注意力卷积网络的高效进化搜索

基于采样训练和节点继承的注意力卷积网络的高效进化搜索

初始化过程

1.输入为种群大小K,块类型序列,节点空间X,操作空间O

2.对个体进行相应编码:从节点空间和操作空间随机选择连个整数进行编码

3.3基于节点继承的采样训练

采样训练的主要思想是,对于每一个小批量迭代,在父群体中随机选择一个个体并对这个小批量数据进行训练,直到每个历元达到最大的迭代次数。因此,每一代需要的训练迭代次数等于每个历元的迭代次数。最重要的是,由于小批迭代的次数(B)通常比种群规模(K)大得多,并且采样的训练也在大量的代中重复,每一代的每个父架构都将在许多小批上进行训练。例如,本研究中CIFAR10的K= 25, B= 312,训练完成后最多进行300代,更新并保存所有计算节点的参数。然后,在验证数据集上测试所有的父母个体,计算他们的适应度

抽样训练的主要思想是:对于每一个mini-batch迭代,从父组中随机选择一个个体,在这个mini-batch上训练,不断重复直到达到每个epoch的最大迭代次数

基于采样训练和节点继承的注意力卷积网络的高效进化搜索

3.4 节点继承

节点继承,论文是指从父节点通过交叉、交换变异和权重继承生成后代神经网络架构。

基于采样训练和节点继承的注意力卷积网络的高效进化搜索

图a表示给定两个父母,

p1和p2,两个后代个体,q1和q2是由最后三个基因之间的交叉产生的。然后,用第三个基因交换第三个基因发生突变。w∗中的所有参数都是直接从他们的父母那里继承来的

基于采样训练和节点继承的注意力卷积网络的高效进化搜索

交叉方法 ​​父母交叉到后代个体结构

(直接使用其父节点的训练参数作为子节点个体的初始权重)

交叉突变是从父代继承的,不需要随机初始化。由于直接继承,不需要验证训练,直接进行评估。

图b表示节点继承的

基于采样训练和节点继承的注意力卷积网络的高效进化搜索

四、效果

先训练小网络Evo-NAS,找到比较好的,在放到大型NAS中重新训练

基于采样训练和节点继承的注意力卷积网络的高效进化搜索

版权声明:本文为博主从零开始的计科搬砖猫原创文章,版权归属原作者,如果侵权,请联系我们删除!

原文链接:https://blog.csdn.net/miss_the_boat/article/details/123400031

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
扎眼的阳光的头像扎眼的阳光普通用户
上一篇 2022年3月11日 下午12:59
下一篇 2022年3月11日

相关推荐