最近在看到这些词得时候老是混淆，看了之后还很容易遗忘，于是查了些资料把他们记录下来。
我们在设计深度学习网络模型的时候经常要对其进行评估，评估就要用到这些东西，在接介绍这个率，那个率之前，我先来介绍下什么是混淆矩阵，如下表所示：
混淆矩阵：
- P（Positive）：代表1
- N（Negative）：代表0
- T（True）：代表预测正确
- F（False）：代表预测错误
TP：预测为1，预测正确，即实际1
FP：预测为1，预测错误，即实际0
FN：预测为0，预测错误，即实际1
TN：预测为0，预测正确，即实际0
混淆矩阵理理解之后我们看下准确率。
准确率：
准确率即预测正确的结果占总样本的百分比，其公式如下：
准确率虽然可以判断总的正确率，但是在样本不平衡的情况下，准确率就显得无助了。举个例子：比如一个样本中正样本占比0.95，负样本占比0.05，这个时候只需要将全部样本都预测为正样本就能够得到95%的正确率，显然是不合理的。正是因为准确率的这种缺陷，于是诞生了精准率和召回率，或者叫做查准率和查全率。
精准率：
精准率（Precision）又叫查准率，它是针对预测结果而言的，是指在所有被预测为正的样本中实际为正的样本的概率，意思就是在预测为正样本的结果中，我们有多少把握可以预测正确，其公式如下：
精准率就是你认为找的是对的实际上多少是对的
注意：精准率代表对正样本结果中的预测准确程度，而准确率则代表整体的预测准确程度，既包括正样本，也包括负样本。
召回率：
召回率（Recall）又叫查全率，是针对原样本而言的，是指在实际为正的样本中被预测为正样本的概率，其公式如下：
召回率就是实际上是对的样本中找出来对的的概率。
召回率又叫查全率，从他的名字上都能看出来，召回率越高，代表实际想预测出来的样本的概率越高，它的含义类似：宁可错杀一千，绝不放过一个。
精准率和召回率的关系，F1分数：
通过上面的公式，我们发现：精准率和召回率的分子是相同，都是TP，但分母是不同的，一个是（TP+FP），一个是（TP+FN），两者的关系可以用一个P-R图来展示，于是就得到了我们常说的P-R曲线：
讲完了上面的各种率，下面我们再来看下ROC/AUC
在介绍ROC/AUC之前我们还需要知道两个概念：灵敏度和特异度。
灵敏度就是召回率。
特异度表示实际为负样本，正确的预测为负样本的概率但是我们通常只关心正样本的概率，二不关心负样本，于是引申出来下面的假正率。假正率表示为：表示实际为负样本，错误的预测为负样本的概率。
细心的同学可能发现了灵敏度不就是召回率吗，只是换了个马甲而已。
由于我们比较关心正样本，所以需要查看有多少负样本被错误地预测为正样本，所以使用（1-特异度），而不是特异度。所以又引申出了两个概念真正率和假正率：
通过上面的定义可以发现，真正率和假正率分别是基于实际表现1和0出发的，也就是说它们分别在实际的正样本和负样本中来观察相关概率问题。正因为如此，所以无论样本是否平衡，都不会被影响。还是拿之前的例子，总样本中，95%是正样本，5%是负样本。我们知道用准确率是有水分的，但是用真正率和假正率不一样。这里，真正率只关注95%正样本中有多少是被真正覆盖的，而与那5%毫无关系，同理，假正率只关注5%负样本中有多少是被错误覆盖的，也与那95%毫无关系，所以可以看出：如果我们从实际表现的各个结果角度出发，就可以避免样本不平衡的问题了，这也是为什么选用真正率和假正率作为ROC/AUC的指标的原因。
ROC曲线：
下面我们看下ROC曲线：ROC（Receiver Operating Characteristic）曲线，又称接受者操作特征曲线。该曲线最早应用于雷达信号检测领域，用于区分信号与噪声。后来人们将其用于评价模型的预测能力，ROC曲线是基于混淆矩阵得出的。
ROC曲线中的主要两个指标就是真正率和假正率，上面也解释了这么选择的好处所在。其中横坐标为假正率（FPR），纵坐标为真正率（TPR），下面就是一个标准的ROC曲线图。
AUC
同P-R曲线的mAP一样，ROC也会计曲线下的面积，叫做AUC。比较有意思的是，如果我们连接对角线，它的面积正好是0.5。对角线的实际含义是：随机判断响应与不响应，正负样本覆盖率应该都是50%，表示随机效果。ROC曲线越陡越好，所以理想值就是1，一个正方形，而最差的随机判断都有0.5，所以一般AUC的值是介于0.5到1之间的。
AUC的一般判断标准：
- 0.5 – 0.7：效果较低，但用于预测股票已经很不错了
- 0.7 – 0.85：效果一般
- 0.85 – 0.95：效果很好
- 0.95 – 1：效果非常好，但一般不太可能
文章出处登录后可见！
