随机森林算法

• 从原始数据集中采取《有放回的抽样bagging》,构造子数据集，子数据集的数据量和原始数据集相同，不同子数据集的元素可以重复，同一子数据集中的元素也可以重复

• 随机森林中的子树的每一个分裂过程并未用到所有的待选特征，而是从所有的待选特征中随机选取一定的特征，之后再随机选取的特征中选取最优的特征

• 采用了集成算法，本身精度比大多数单个算法要好，即准确性高
• 两个随机性引入，使得随机森林不容易陷入过拟合(样本随机，特征随机)
• 两个随机性引入，使得随机森林具有一定的抗噪声能力，对比其它算法具有一定的优势
• 能够处理很高的维度(feature很多)的数据，并且不同做特征选择，对数据集的适应能力强：即能处理离散型数据，也能处理连续型数据
• 在训练过程中，能够检测到feature间的互相影响，且可以得出feature的重要性，具有一定的参考意义

• 当随机森林中的决策树个数很多时，训练时需要的空间和时间会比较大

• from sklearn.ensemble import RandomForestRegression

分类

• from sklearn.ensemble import RandomForestClassifier

obb_score_重要参数

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_wine
wine=load_wine()
rfc=RandomForestClassifier(n_estimators=25,oob_score=True)
rfc=rfc.fit(wine.data,wine.target)
rfc.oob_score_  #0.9606741573033708

随机森林与决策树的效果对比

from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
wine=load_wine()
#随机森林与决策树的对比
x_train,x_test,y_train,y_test=train_test_split(wine.data,wine.target,test_size=0.3)
clf=DecisionTreeClassifier(random_state=0)
rfc=RandomForestClassifier(random_state=0)
clf=clf.fit(x_train,y_train)
rfc=rfc.fit(x_train,y_train)
score_c=clf.score(x_test,y_test)
score_r=rfc.score(x_test,y_test)
print(score_c,score_r)  #0.8518518518518519 0.9629629629629629

随机森林与决策树在一组交叉验证下的效果对比

from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_wine
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
%matplotlib inline
wine=load_wine()
rfc=RandomForestClassifier(n_estimators=25)
rfc_s=cross_val_score(rfc,wine.data,wine.target,cv=10)
clf=DecisionTreeClassifier()
clf_s=cross_val_score(clf,wine.data,wine.target,cv=10)
plt.plot(range(1,11),rfc_s,label='RandomForest')
plt.plot(range(1,11),clf_s,label='DecisionTree')
plt.legend()
plt.show()

随机森林与决策树在十组交叉验证下的效果对比

from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_wine
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
%matplotlib inline
wine=load_wine()
rfc_l=[]
clf_l=[]
for i in range(10):
    rfc=RandomForestClassifier(n_estimators=25)
    rfc_s=cross_val_score(rfc,wine.data,wine.target,cv=10).mean()
    rfc_l.append(rfc_s)
    clf=DecisionTreeClassifier()
    clf_s=cross_val_score(clf,wine.data,wine.target,cv=10).mean()
    clf_l.append(clf_s)
    
plt.plot(range(1,11),rfc_l,label="RangeForest")
plt.plot(range(1,11),clf_l,label='DecisionTree')
plt.legend()
plt.show()