【深度学习基础】反向传播法(1)

前面我们已经学习了神经网络的学习过程,通过梯度下降法不断逼近代价函数的最小值,进而不断更新权重,取得最优的参数。

但是,前面的梯度计算,采用的是中心差分的方式进行的,计算起来比较复杂,现在开始我们开始学习一种高效的梯度计算方法——反向传播法。

计算图的概念

在超市买了 2 个 100日元一个的苹果,消费税是10%,计算支付金额。

我们通过图形,描述支付金额的计算过程。

【深度学习基础】反向传播法(1)

换一种表达方式:

【深度学习基础】反向传播法(1)

我们发现,在解决这个问题的时候,我们自己的思路和图形完全一致!

1. 根据苹果的单价和数量计算价值金额。

2. 根据税率,计算待支付金额。

我们如何计算支付金额关于苹果单价的导数呢?

【深度学习基础】反向传播法(1)

可以采用刚刚计算支付金额的反向方法,计算对应的导数(具体如何计算的,后面再说)。我们发现,计算图通过前向传递,可以一步步计算出支付金额。而通过反向传播,可以一步步回退出支付金额对某一变量的导数。

计算f(x,y) = (x+y)^2对x的偏导数

【深度学习基础】反向传播法(1)

首先,我们把函数进行换元:

【深度学习基础】反向传播法(1)

 根据求导公式,

【深度学习基础】反向传播法(1)

我们参照步骤,逐步计算偏导数的流程与计算图的反向传播完全一致。

加法计算的反向传播

神经网络中,加法计算和乘法计算是是比较常见的,分别来看看。

【深度学习基础】反向传播法(1)

 

对于加法计算,我们发现,他们的偏导数为1.

【深度学习基础】反向传播法(1)

 

乘法的反向传播

对于乘法计算呢?

【深度学习基础】反向传播法(1)

 我们发现乘法的反向传播为其他项的乘积:

【深度学习基础】反向传播法(1)

 

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
上一篇 2022年6月13日 上午11:19
下一篇 2022年6月13日 上午11:22

相关推荐

本站注重文章个人版权,不会主动收集付费或者带有商业版权的文章,如果出现侵权情况只可能是作者后期更改了版权声明,如果出现这种情况请主动联系我们,我们看到会在第一时间删除!本站专注于人工智能高质量优质文章收集,方便各位学者快速找到学习资源,本站收集的文章都会附上文章出处,如果不愿意分享到本平台,我们会第一时间删除!