🔥作者：FrigidWinter

🔥简介：主攻机器人与人工智能领域的理论研究和工程应用，业余丰富各种技术栈。主要涉足：【机器人(ROS)】【机器学习】【深度学习】【计算机视觉】

🔥专栏：

• 《机器人原理与技术》
• 计算机视觉教程
• “机器学习”
• “嵌入式系统”
• …

内容

• 1 引例
• 2 数值解法
• 3 梯度下降算法
• 4 代码实战：Logistic回归

1 引例

给定一个如图所示的函数，如何通过计算机算法编程找到？

2 数值解法

传统方法是数值解，如图 1 所示。

如下迭代循环直到最优：

①任意给定初始值；

②随机生成增量方向，结合步长生成；

③计算比较和的大小，如果是，更新位置，否则重新生成；

④ 重复②③，直到收敛到最优。

数值解法最大的优点是编程简单，但缺点也很明显：

① 初始值的设置对结果的收敛速度影响很大；

②增量方向随机产生，效率低；

③ 容易陷入局部最优解；

④ 不能处理“高原”类型的功能。

所谓陷入局部最优解，是指当迭代进入某个最小值或其邻域时，由于步长选择不当，无论正向还是负向，学习效果都不如当前的一个，这使得无法迭代到全局最优解。 .就这个问题而言，如图所示，当迭代落入时，由于学习步长的限制，不能使用，所以迭代锁定在图中红色部分。可以看出不是预期的全局最优值。

如果存在下图所示的“高原”功能，则迭代可能不会更新。

3 梯度下降算法

梯度下降算法可以看作是数值解的改进，描述如下：

轮迭代后，自变量更新为，目标函数在Taylor中展开：

调查，然后期待，因此：

若则，迭代方向为负；否则为正。不妨设，以保证。必须指出，泰勒公式成立的条件是，所以不能太大，否则力与的距离太远，会产生残差。因此，引入学习率来减少偏移量，即

在工程中，学习率应根据实际应用合理选择。 过大，迭代会在最小值两侧振荡，算法无法收敛； 太小，学习效率会下降，算法收敛慢。

对于一个向量，上面的迭代公式被推广为

其中，为多元函数的梯度，所以迭代算法也称为梯度下降算法

梯度下降算法通过函数梯度确定每次迭代的方向和步长，提高了算法的效率。但是，原则上可以知道，该算法不能解决数值解中的初值设定、局部最优下降和偏函数锁定问题。

4 代码实战：Logistic回归

import pandas as pd
import numpy as np
import os
import matplotlib.pyplot as plt
import matplotlib as mpl
from Logit import Logit

'''
* @breif: 从CSV中加载指定数据
* @param[in]: file -> 文件名
* @param[in]: colName -> 要加载的列名
* @param[in]: mode -> 加载模式, set: 列名与该列数据组成的字典, df: df类型
* @retval: mode模式下的返回值
'''
def loadCsvData(file, colName, mode='df'):
    assert mode in ('set', 'df')
    df = pd.read_csv(file, encoding='utf-8-sig', usecols=colName)
    if mode == 'df':
        return df
    if mode == 'set':
        res = {}
        for col in colName:
            res[col] = df[col].values
        return res

if __name__ == '__main__':
    # ============================
    # 读取CSV数据
    # ============================
    csvPath = os.path.abspath(os.path.join(__file__, "../../data/dataset3.0alpha.csv"))
    dataX = loadCsvData(csvPath, ["含糖率", "密度"], 'df')
    dataY = loadCsvData(csvPath, ["好瓜"], 'df')
    label = np.array([
        1 if i == "是" else 0
        for i in list(map(lambda s: s.strip(), list(dataY['好瓜'])))
    ])

    # ============================
    # 绘制样本点
    # ============================
    line_x = np.array([np.min(dataX['密度']), np.max(dataX['密度'])])
    mpl.rcParams['font.sans-serif'] = [u'SimHei']
    plt.title('对数几率回归模拟\nLogistic Regression Simulation')
    plt.xlabel('density')
    plt.ylabel('sugarRate')
    plt.scatter(dataX['密度'][label==0],
                dataX['含糖率'][label==0],
                marker='^',
                color='k',
                s=100,
                label='坏瓜')
    plt.scatter(dataX['密度'][label==1],
                dataX['含糖率'][label==1],
                marker='^',
                color='r',
                s=100,
                label='好瓜')

    # ============================
    # 实例化对数几率回归模型
    # ============================
    logit = Logit(dataX, label)

    # 采用梯度下降法
    logit.logitRegression(logit.gradientDescent)
    line_y = -logit.w[0, 0] / logit.w[1, 0] * line_x - logit.w[2, 0] / logit.w[1, 0]
    plt.plot(line_x, line_y, 'b-', label="梯度下降法")

    # 绘图
    plt.legend(loc='upper left')
    plt.show()