第三讲 Numpy理解各种梯度下降等优化算法

Numpy理解各种梯度下降等优化算法一 本节课程介绍1.1 知识点1、优化算法的基本介绍;2、梯度下降算法的实现;3、随机梯度下降的实现;4、其他优化算法的对比;二 课程内容2.1 优化算法基本介绍优化算法常用在最优化模型上,使得模型的损失值为最小。经典的优化算法分为直接法和迭代法。直接法是指能够直接获取到优化问题的最优解。其要求目标函数需要满足两个条件:(1)目标函数需要是凸函数,若目标函数是凸函数,其最优解处的梯度为0;(2)对于求解目标函数梯度为0,需要有其闭式解。常见的直接优化算法

Numpy理解各种梯度下降等优化算法

一 本节课程介绍

1.1 知识点
1、优化算法的基本介绍;
2、梯度下降算法的实现;
3、随机梯度下降的实现;
4、其他优化算法的对比;

二 课程内容

2.1 优化算法基本介绍

优化算法常用在最优化模型上,使得模型的损失值为最小。经典的优化算法分为直接法和迭代法。直接法是指能够直接获取到优化问题的最优解。其要求目标函数需要满足两个条件:(1)目标函数需要是凸函数,若目标函数是凸函数,其最优解处的梯度为0;(2)对于求解目标函数梯度为0,需要有其闭式解。常见的直接优化算法有岭回归,有想要更深了解的同学可以自行加深学习。
迭代法是指通过迭代的方式对最优解的估计,其可以分为一阶法和二阶法。本文所讲解的梯度下降法就属于是一阶法。二阶法也叫作牛顿法,Hessian矩阵就是目标函数的二阶信息。
人工智能中常见的优化算法有梯度下降法(BGD)、随机梯度下降法(SGD)、小批次梯度下降法(MBGD)、Adagrad和Adam等。

2.1.1 梯度下降法

梯度下降法需要求解每一步函数的梯度,按照梯度*固定步长的方式对上一步的数值进行加和,为了使得梯度最快拟合,使用梯度负数可以最快拟合。
特点:每次都会对全局数据进行更新,易造成训练缓慢。

2.1.2 随机梯度下降法

如上所述,

版权声明:本文为博主大龙剑神原创文章,版权归属原作者,如果侵权,请联系我们删除!

原文链接:https://blog.csdn.net/qq_42279468/article/details/122640551

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
心中带点小风骚的头像心中带点小风骚普通用户
上一篇 2022年1月24日 上午10:57
下一篇 2022年1月24日 上午11:20

相关推荐