深度学习常用评价指标（Accuracy、Recall、Precision、HR、F1 score、MAP、MRR、NDCG）——推荐系统

混淆矩阵

混淆矩阵
	P(Positives)	N(Negatives)
T(Ture)	TP：正样本，预测结果为正	TN：负样本，预测结果为正
F(False)	FP：正样本，预测结果为负	FN：负样本，预测结果为负

总结

Accuracy	$\frac{TP+TN}{TP+FP+TN+FN}$
Recall	$\frac{TP}{TP+FN}$
Precision	$\frac{TP}{TP+FP}$
Hits Ratio	$HR=\frac{1}{N}\sum\limits_{i=1}^{N}{hits(i)}$
F1 score	$F1score=2\frac{precision\cdot recall }{precision+ recall} \\ =\frac{2TP}{2TP+FP+FN}$
Mean Average Precision	$AP=\frac{1}{R}\sum{Precision(rank)} \\ MAP=\frac{1}{C}\sum{AP}$
Mean Reciprocal Rank	$MRR=\frac{1}{N}\sum\limits_{i=1}^{N}{\frac{1}{{{p}_{i}}}}$
Normalized Discounted Cumulative Gain	$NDCG=\frac{1}{N}\sum\limits_{i=1}^{N}{\frac{1}{lo{{g}_{2}}({{p}_{i}}+1)}}$

1、准确率(Accuracy)

含义：预测正确的样本在所有样本中的比列。

公式： $\frac{TP+TN}{TP+FP+TN+FN}$

注：在样本不平衡的情况下，不能作为很好的指标来衡量结果。

2、召回率(Recall)&查全率

含义：预测正确的正样本在所有正样本中所占的比例，即表示有多少比例的用户-物品交互记录包含在最终的预测列表中。

公式： $\frac{TP}{TP+FN}$

注：准确率和召回率都只能衡量检索性能的一个方面。

3、精确率(Precision)&查准率

含义：在全部预测为正的结果中，被预测正确的正样本所占的比例。

公式： $\frac{TP}{TP+FP}$

注：召回率和精确率是一对矛盾的指标，当召回率高的时候，精确率一般很低；精确率高时，召回率一般很低。

4、命中率(Hits Ratio)

含义：预测结果列表中预测正确的样本占所有样本的比例，即用户想要的项目有没有推荐到，强调预测的“准确性”。

公式： $HR=\frac{1}{N}\sum\limits_{i=1}^{N}{hits(i)}$

N，表示用户总数量。

hits(i)，表示第i个用户访问的值是否在推荐列表中，是则为1，否则为0。

5、F1分数（F1 score)

含义：精确率与召回率的调和均值。

公式： $F1score=2\frac{precision\cdot recall }{precision+ recall}=\frac{2TP}{2TP+FP+FN}$

6、平均精度均值(Mean Average Precision)

Average Precision(AP)：平均精确率，在召回率从0到1逐步提高的同时也要保证准确率比较高，AP值尽可能的大。

含义：用多个来衡量性能，多个类别AP的平均值。

公式： $AP=\frac{1}{R}\sum{Precision(rank)} \\ MAP=\frac{1}{C}\sum{AP}$

7、平均倒数排名(Mean Reciprocal Rank)

含义：平均结果中的排序倒数，表示待推荐的项目是否放在了用户更显眼的位置，强调“顺序性”。

公式： $MRR=\frac{1}{N}\sum\limits_{i=1}^{N}{\frac{1}{{{p}_{i}}}}$

N，表示用户的总数。

pi，表示第i个用户的真实访问值在推荐列表的位置，若推荐列表不存在该值，则pi->∞。

8、归一化折损累计增益(Normalized Discounted Cumulative Gain)

含义：表示归一化加入位置信息度量计算的前p个位置累计得到的效益。

公式： $NDCG=\frac{1}{N}\sum\limits_{i=1}^{N}{\frac{1}{lo{{g}_{2}}({{p}_{i}}+1)}}$