前置内容
一元线性回归公式的推导
多元线性回归公式推导
为什么机器学习需要梯度下降
为什么梯度的方向是函数增加最快的方向？
梯度下降法详解
最小二乘
了解完上面的内容，最后我们要求解W的最优解，需要计算，重点在于
，对逆矩阵的求解复杂度是非常高的，加入一个矩阵n*n，如果矩阵为n阶方阵，那么它的时间复杂度为
，一般
大于10000就会很慢，我们就会采用梯度下降法求解，如果数据维度太大，计算时间成本也会很大，也会采用梯度下降法。计算时间如果矩阵不可逆，可以采用伪逆的思想求解。如果函数为非凸函数，就会有多个极值点，那么也要采用梯度下降法求解。
梯度下降
梯度下降法对学习率的选择要求更高，既不太大也不太小。梯度下降法需要进行归一化操作，而最小二乘法则不需要。如果数据维数较小，函数为凸函数，且矩阵可逆，则采用最小二乘法求解。
文章出处登录后可见！
已经登录？立即刷新
