目标检测重要评价指标——mAP的含义及计算

目标检测常见评价指标

1. 公开数据集

评价标准:pascal voc, coco,目前基本都在使用coco数据集。

2.评价指标

mAP: mean Average Precision, 即所有类别AP的平均值。下面将介绍相关参数含义。

理论知识

TP(True Positive):与目标框(ground truth) IoU>0.5的检测框数量 (同一个Ground Truth 只计算一次)

FP(False Positive):与目标框 IoU<=0.5的检测框(或者说是除了最终作为输出结果的框,其余所有网络输出的框)

FN(False Negative): 没有被检测到的真实目标框(ground_truth)的数量

Precision(查准率): TP/(TP + FP)即:所有预测正确的框,与所有预测出来的框(网络最终输出的全部预测框)的比例

Recall(召回率/查全率):TP/(TP + FN) 即:所有预测正确的框,与所有真实框(ground truth)的比例

P-R曲线:Precision-Recall 曲线,一般来说Precision和Recall一个变大,另一个就会变小,我们以Recall为横坐标,Precision为纵坐标做图如下:
目标检测重要评价指标——mAP的含义及计算
AP: P,和R单独出现时均不能完整的表征网络的预测效果, 我们希望的是P和R同时为较大的值,也就是希望PR曲线与坐标轴围成的面积更大。由此得到AP的概念,即PR曲线与坐标轴围成的面积.😛

一个类AP计算方法

  1. 将一张图片中预测到的框,按照confidence由大到小排序:
    目标检测重要评价指标——mAP的含义及计算

  2. 依次选择前一个,前两个,前三个…(依次减小confidence阈值,没有达到阈值的框认为是没有检测到物体的,当作FN)去计算Precision和Recall。例如我们把confidence限定为0.89,通过表格我们可以发现仅有两个框可以认定为TP, 无FP, 一共检测到7个框,所以剩下的五个均为FN。即Precision=2/(2+0)=1.0;Recall=2/(2+5)=0.28

    目标检测重要评价指标——mAP的含义及计算

  3. 画PR曲线,计算曲线下方面积:

    计算面积时需要先去掉Recall重复的部分(因为要以Recall为x轴)。得到下一步的表格后,AP也可通过公式计算如下,*(第n项Recall – 第n-1项Recall)从n项起往下的最大Precision(n=1时n-1项Recall取0)

由此得到各类的AP值,取平均即可以得到mAP。

3. COCO评价指标

目标检测重要评价指标——mAP的含义及计算

COCO较为主要的评价指标为第一项,其含义为在IoU=0.5~0.95间隔0.05, 一共10个IoU阈值下各类AP的均值,再求10个mAP的均值。

其他各项评价指标需要根据数据集和实际应用场景判断,用哪个取主要评价模型的好坏。例如当模型主要检测小物体时,目标检测重要评价指标——mAP的含义及计算就表示针对小面积的目标检测,含义为目标检测重要评价指标——mAP的含义及计算的物体检测结果的mAP.

Average Recall

目标检测重要评价指标——mAP的含义及计算 : 每张图片最多10个预测边界框时,其相应的Recall值。

Across Recall

不同目标尺度AR的值。

4. 扩展

4.1 在分类任务中recall和precision指标

在分类任务中recall(查全率)表示所有预测正确的正样本占实际正样本的比例precision(查准率)表示所有预测正确的正样本占所有预测出的正样本的比例。我们以一个二分类的输出pred和target为例:

pred = [0, 1, 0, 1, 0]
target = [0, 1, 1, 1, 0]
### metrics
recall = 2 / 3
precision = 2 / 2

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
乘风的头像乘风管理团队
上一篇 2023年3月30日
下一篇 2023年3月30日

相关推荐