1、稀疏自编码器的结构
上图为稀疏自编码器的一个大致结构,其主要特征为其输入层的结点(不包括偏置节点)和输出层的结点的个数是相同的,而隐含层结点的个数则较少,该模型的目的在于学习得到
- 降维:让隐含层节点的个数小于输入节点的个数
- 稀疏:即在隐含层的神经元上加入稀疏性的限制
降维很容易理解,那么“稀疏”呢?
2、稀疏性约束
对于使用Sigmoid函数作为激活函数的神经元,如果其输出为1代表该神经元被激活,否则称为未被激活。那么稀疏性表征的就是在大多数情况下神经元都是未被激活的。对于隐含层的第i个神经元,定义其激活度为
那么对于m个样本,平均激活度为
通常让
上述式子表示若能够使得每个神经元的激活度都等于稀疏度参数,那么其相对熵将为0,代表差距达到最小。
3、稀疏自编码器的求解
该网络的损失函数是在其他一般网络的损失函数的基础上加上了稀疏性的约束,即:
那么求解的方法也是进行结合反向传播来进行梯度下降。
文章出处登录后可见!
已经登录?立即刷新