机器学习决策树作业

机器学习决策树作业

作业:(1)编程实现:利用信息增益率作为评定标准,实现根节点的决策树的特征选择(封装为函数,或类)(2)编程实现:利用Gini系数做为评定标准,实现根节点的特征选择(3)比较二者在分类的准确率的差别。要求:感性写出自己的收获或疑惑,以便我在下节课有针对的讲解。

(1)编程实现:利用信息增益率作为评定标准,实现根节点的决策树的特征选择(封装为函数,或类)

信息增益

计算公式

特征A对数据集D的信息增益比:
请添加图片描述
其中机器学习决策树作业(D, A)是特征A对数据集D的信息增益。机器学习决策树作业(D)是特征A对数据集的经验熵

思路

信息增益率机器学习决策树作业信息增益经验熵
信息增益机器学习决策树作业原始信息熵 条件熵

代码

import numpy as np
import pandas as pd

train_data = pd.read_csv('playornot.csv')
X, y = train_data.iloc[:, :-1], train_data.iloc[:, -1]
# 信息特征
attrs = train_data.columns[:-1]


# 计算原信息熵
def calc_entropy(series):
    prob = series.value_counts(normalize=True).values
    return - prob @ np.log2(prob)


# 计算条件熵
def cond_entropy(col, y):
    labels = col.unique()
    attr_ratio = col.value_counts(normalize=True)[labels]  # importance
    entr = np.array([
        - y[col == label].value_counts(normalize=True).values @
        np.log2(y[col == label].value_counts(normalize=True).values)
        for label in labels
    ])
    cond_ent = entr @ attr_ratio
    return cond_ent


# 计算信息增益
def info_gain(X, y):
    H_D = calc_entropy(y)  # 未分割之前的熵
    cond_entropies = np.array([
        cond_entropy(X[col], y)
        for col in X.columns.values
    ])
    info_gain = H_D - cond_entropies
    return info_gain


# 计算经验熵
def exper_entropy(X, y):
    return np.array([cond_entropy(X[col], y)
                     for col in X.columns.values])


if __name__ == '__main__':
    print((info_gain(X, y) / exper_entropy(X, y)))
    # 信息特征最大值为所选特征
    print(attrs[(np.array(info_gain(X, y) / exper_entropy(X, y))).argmax()])

结果

(2)编程实现:利用Gini系数做为评定标准,实现根节点的特征选择

基尼指数

基尼指数表示数据集D的纯度,数值大小表示一个随机选中的样本在子集中被分错的可能性。当一个节点中所有样本都是一个类时,基尼不纯度为零。

思路

假设有K个类,样本点属于第k类的概率为pi,则概率分布的基尼指数为:
请添加图片描述

import numpy as np
import pandas as pd

train_data = pd.read_csv('playornot.csv')
X, y = train_data.iloc[:, :-1], train_data.iloc[:, -1]
# 信息特征
attrs = train_data.columns[:-1]


# gini系数
def gini():
    return [
        1 - train_data[attr].value_counts(normalize=True).values @ train_data[attr].value_counts(normalize=True).values
        for attr in attrs]


if __name__ == "__main__":
    print(gini())
    # 基尼系数系数增益越大越好
    print(attrs[(np.array(gini())).argmax()])

结果

(3)比较二者在分类的准确率的差别。要求:感性写出自己的收获或疑惑,以便我在下节课有针对的讲解。

两者之间没有绝对的优劣,每个决定都有适用的情况,应根据实际情况进行选择。
适用场合:
信息增益率通常用于离散型的特征划分,因此ID3(以信息增益作为决策标准)和C4.5(以信息增益率作为决策标准)通常情况下都是多叉树,也就是根据离散特征的取值会将数据分到多个子树中;而CART树为二叉树,使用基尼指数作为划分准则,对于离散型特征和连续行特征都能很好的处理。

图2 转自本博客
原创不易复制,转载请注明出处
如果对你有帮助,别忘了点赞支持请添加图片描述[0]

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
扎眼的阳光的头像扎眼的阳光普通用户
上一篇 2022年5月6日
下一篇 2022年5月6日

相关推荐