你对激活函数了解多少?

相信看到标题的你心里会有以下疑问:什么是激活函数?为什么要用激活函数?激活函数是什么?下面让Sun小白带大家一起了解神经网络中的社交规则——激活函数。

什么是激活函数?

在神经网络的前向传输中,输入值经过一系列加权求和后被应用到另一个函数上,这就是激活函数。与人脑中的神经元类似,激活函数决定是否传递一个信号以及传递什么给下一个神经元。

为什么需要激活函数?

因为神经网络中每一层的输入和输出都是一个线性求和过程,所以下一层的输出只是上一层输入函数的线性变换。如果不使用激活函数,则输出信号只是一个简单的线性函数。

线性函数是一阶多项式,线性方程的复杂度有限,从数据中学习复杂函数映射的能力很小。

如果没有激活函数,神经网络就无法学习和模拟其他复杂类型的数据,例如图像、视频、音频、语音等。

为什么需要非线性激活函数?

如果网络中都有线性分量,那么线性组合仍然是线性的,与单个线性分类器没有区别。这使得不可能逼近具有非线性的任意函数。

使用非线性激活函数以使网络更强大并增加其能力,以便它可以学习复杂的事物。使用非线性激活函数,可以在输入和输出之间生成非线性映射,表示输入和输出之间的非线性复杂任意函数映射。

它是什么? – – -常用激活函数

  1. sigmoid函数,函数定义如下,值域为(0,1):
    你对激活函数了解多少?
    功能图如下:
    你对激活函数了解多少?
  2. tanh激活函数,函数定义如下,值域为(-1,1):
    你对激活函数了解多少?
    功能图如下:
    你对激活函数了解多少?
  3. Relu激活函数,函数定义如下,值域为[0,+∞):
    你对激活函数了解多少?
    功能图如下:
    你对激活函数了解多少?

ReLU 函数从图像上看,是⼀个分段线性函数,把所有的负值都变为 0,⽽正值不变,这样就成为单侧抑制。

由于这种单方面的抑制,神经网络中的神经元也具有稀疏激活。

稀疏激活:从信号上看,即神经元只选择性地同时对一小部分输入信号做出反应,大量的信号被故意屏蔽掉,这样可以提高学习的准确率,更好地提取并且更快。稀疏特征。

  1. Leak Relu激活函数,函数定义如下,值域为(-∞,+∞):
    你对激活函数了解多少?
    函数图像如下(a = 0.5):
    你对激活函数了解多少?
  • 在实践中,使⽤ ReLu 激活 函数神经⽹络通常会⽐使⽤ sigmoid 或者 tanh 激活函数学习的更快。
  • sigmoid 和 tanh 函数的导数在正负饱和区的梯度都会接近于 0,这会造成梯度弥散,⽽ Relu和Leaky ReLu 函数⼤于 0 部分都为常数,不会产⽣梯度弥散现象。
  • Relu 进⼊负半区的时候,梯度为 0,神经元此时不会训练,产⽣所谓的稀疏性,⽽Leaky ReLu 不会产⽣这个问题。
  1. SoftPlus激活函数,函数定义如下,值域为(0,+∞):
    你对激活函数了解多少?
    功能图如下:
    你对激活函数了解多少?
  2. softmax激活函数
    你对激活函数了解多少?

softmax 函数可以把它的输⼊,通常被称为 logits 或者 logit scores,处理成 0 到 1 之间,并且能够把输出归⼀化到和为 1。这意味着 softmax 函数与分类的概率分布等价。它是⼀个⽹络预测多酚类问题的最佳输出激活函数。

softmax ⽤于多分类过程中,它将多个神经元的输出,映射到(0,1)区间内,可以看成概率来理解, 从⽽来进⾏多分类。

假设我们有⼀个数组,Vi表示V中的第i个元素,那么这个元素的 softmax 值就是:
你对激活函数了解多少?
以下示例说明:
你对激活函数了解多少?
softmax 直⽩来说就是将原来的输出3、1、-3 通过 softmax 函数作⽤,映射成为(0,1)的值,而这些值的累和为 1(满⾜概率的性质),那么我们就可以将它理解成概率,在最后选取输出结点的时候,我们就可以选取概率最大(也就是值对应最大的)结点,作为我们的预测目标!

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
扎眼的阳光的头像扎眼的阳光普通用户
上一篇 2022年4月15日 下午12:51
下一篇 2022年4月15日 下午1:08

相关推荐