机器学习 | 第2章(续)性能度量

在训练模型的过程中,不仅需要可行的实验估计方法,还需要衡量模型泛化能力的评价标准,简单来说,就是评价模型好不好,下面川宝带你看一看几个常用的性能度量标准:

1.均方误差

回归任务最常用的性能度量是均方误差,即预测值与真实值的差值和再取平均,即

2.错误率与精度

错误率是分类错误的样本数占样本总数的比例,精度则是分类正确的样本数占样本总数的比例。

错误率定义为:

精度定义为:

3.查准率,查全率,F1

查准率是指模型预测的结果中,准确率有多少。

查全率是指模型预测的结果中,所有正例的结果你找到了多少。

下面我们以二分类问题介绍一下查准率,查全率该如何计算:

我们将类别划分为真正例(true postive),假正例(false postive),真反例(true negative),假反例(false negative)四种情况,分别取首字母来代替,显然有TP+FP+TN+FN=样例总数,分类结果的混淆矩阵如图所示:

依据定义,查准率P查全率R分别定义为:

注意:查准率和查全率是一对矛盾的度量,查准率高了,我们必然要选择有把握的一些样本,所以查全率肯定会低,而查准率高,我们要尽可能地取选择可能为正确的样本,查准率又会下降。

在很多情况下,为了直观,我们会做这样的处理,把多个样本按照可能性大小进行排序,逐个把样本添加到正例的集合中,计算会得到一系列的(P,R)点,连线,则会得到一个PR曲线,如下图:

 通过PR曲线,我们可以比较两个学习器泛化性能的好坏:具体比较方式如下:

1.如果一个曲线被另外一个曲线包住,则另一个曲线泛化性能好,如A,C,显然A完全包住了C,所以A的性能更好。

2.如果两个曲线发生交叉,可以判断图像与坐标轴所包围的面积,面积越大,性能越好。

3.有时判断面积不容易,所以可以看平衡点,即曲线与y=x的交点,交点坐标值越大,性能越好。

为了更精确,我们常用的度量还有F1度量

 F1度量实际上是一个调和平均

若P,R的重要性不同,我们可以对其赋予相应的权重,得到:

 此外,在实际的训练中,我们做一次实验往往是不够的,需要进行多次实验,然后取平均值,取平均值有两种方式,计算出每个P,R,然后取平均值,在计算F1,得到的是“宏查准率”,“宏查全率”,“宏F1”;若我们先对混淆矩阵的对应元素惊喜平均,在进行计算,得到的是“微查准率”,“微查全率”,“微F1”,对应公式如下:

                    

 

 4.ROC与AUC

与绘制PR曲线类似,我们将样例按照可能性大小进行排序,依次把每个样本作为正例进行预测,每次计算两个值,然后做图,即得到ROC曲线,AUC即使曲线与坐标轴包围的面积。

此处计算的两个值为真正例率(TPR),假正例率(FPR),定义公式为:

 绘制的ROC曲线如图:

 人为绘图非常简单,其大概步骤是:

假设一共有m个样本,按照可能性大小排序,依次将每个样本作为正例,从起始点(0,0)出发,如果当前样例是真正例,则向上画\frac{1}{m}的短线,如果当前样例是假正例,则向右画\frac{1}{m}的短线,如果预测的样例既可以是真正例,也可以是假正例,则分别向右跟向上画,即斜向上画一条短线

排序损失定义为:

比较重要的公式是,正确率+损失=1,即:

 

 5.代价敏感错误率与代价曲线

在我们的实际生活中,把正例预测为反例的代价可能跟把反例预测为正例的代价不一致,例如古代名言“宁可错杀一千,不可放过一个”,说的就是这个道理。所以我们需要给分类施加不同的代价,即得到代价矩阵

 

“代价敏感”错误率定义为:

 

 

我们的目的是最小化总体代价,而ROC曲线无法得到代价相关信息,所以我们更常用的是代价曲线,代价曲线的绘制非常简单,步骤如下:

ROC曲线上的每一点对应了代价曲线的每一条线段,对于ROC曲线上的每一点,我们画一条从(0,FPR)到(1,FNR)的线段,最终画出的所有线段包围的公共面积即为期望总体代价,如图所示:

 6.比较检验

比较检验是基于统计学的知识进行比较学习器的性能,这里我们不做过多的展开。

我们来看下面这张图:

 通过这张图,我们需要知道如何判断三个算法的好坏,比较步骤如下:

若两个算法的横线段有交叠,则说明这两个算法没有显著差别,否则说明有显著差别,并且平均序值越小,算法越好。

如图,算法A和算法B有交叠,故没有显著差别,算法A与算法C没有交叠,且算法A的平均序值更小,故算法A显著优于算法 C。

7.偏差与方差

在这我们主要看一下泛化误差由哪几部分组成,在通过一系列的推到之后,我们可以得到:

泛化误差可分解为偏差,方差与噪声之和,即:

偏差说的是模型预测值与真实值之间的误差,学习算法本身的拟合能力

方差说的是训练集不同而造成训练模型的不同所带来的误差,即数据扰动造成的影响

噪声说的是训练样本的标记与真实标记不同带来的误差,即刻画了学习问题本身的难度

偏差与方差是有关系的,如图:

 解释:当训练程度小的时候,学习器的拟合能力不强,偏差占据了主要的地位,随着训练程度的增加,拟合能力增强,偏差逐渐减小,数据集本身的一些特征也被学习器学到,方差逐渐增大,方差占据主导地位,总而言之,随之训练程度的增加,是一场从欠拟合到过拟合的过程。

 好啦,本章的知识点川宝先带大家看到这里,川宝想说的是:无论生活多么难,但还是需要坚持下去,黑夜过后,黎明终将到来。

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
上一篇 2022年5月23日 上午11:10
下一篇 2022年5月23日 上午11:16

相关推荐

本站注重文章个人版权,不会主动收集付费或者带有商业版权的文章,如果出现侵权情况只可能是作者后期更改了版权声明,如果出现这种情况请主动联系我们,我们看到会在第一时间删除!本站专注于人工智能高质量优质文章收集,方便各位学者快速找到学习资源,本站收集的文章都会附上文章出处,如果不愿意分享到本平台,我们会第一时间删除!