1. AI技术聚合首页
  2. 技术文章

详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS

扎眼的阳光 • • 技术文章 • 阅读 2910

🍕 前言

  • 一开始接触IoU是在 NMS 中使用到，有兴趣可以看看
  • 本文公式中的变量尽量统一，特殊地方会有提示
  • 真正的大杂烩，但味道不错，欢迎尝试

🍔IOU(Intersection over Union)

1.优点

IoU就是我们所说的交并比，是目标检测中最常用的指标，在anchor-based的方法中，他的作用不仅用来确定正样本和负样本，还可以用来评价输出框（predict box）和ground-truth的距离。
详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS

  1. 可以说，它可以反映预测检测框和真实检测框的检测效果。
  2. 还有一个很好的特性就是尺度不变性，也就是对尺度不敏感（scale invariant）， 在regression任务中，判断predict box和gt的距离最直接的指标就是IoU。(满足非负性；同一性；对称性；三角不等性)
import numpy as np
def Iou(box1, box2, wh=False):
    if wh == False:
	xmin1, ymin1, xmax1, ymax1 = box1
	xmin2, ymin2, xmax2, ymax2 = box2
    else:
	xmin1, ymin1 = int(box1[0]-box1[2]/2.0), int(box1[1]-box1[3]/2.0)
	xmax1, ymax1 = int(box1[0]+box1[2]/2.0), int(box1[1]+box1[3]/2.0)
	xmin2, ymin2 = int(box2[0]-box2[2]/2.0), int(box2[1]-box2[3]/2.0)
	xmax2, ymax2 = int(box2[0]+box2[2]/2.0), int(box2[1]+box2[3]/2.0)
    # 获取矩形框交集对应的左上角和右下角的坐标（intersection）
    xx1 = np.max([xmin1, xmin2])
    yy1 = np.max([ymin1, ymin2])
    xx2 = np.min([xmax1, xmax2])
    yy2 = np.min([ymax1, ymax2])	
    # 计算两个矩形框面积
    area1 = (xmax1-xmin1) * (ymax1-ymin1) 
    area2 = (xmax2-xmin2) * (ymax2-ymin2)
    inter_area = (np.max([0, xx2-xx1])) * (np.max([0, yy2-yy1]))　#计算交集面积
    iou = inter_area / (area1+area2-inter_area+1e-6) 　#计算交并比

    return iou

2.作为损失函数会出现的问题(缺点)

公式：
详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS

  1. 如果两个框没有相交，根据定义，IoU=0，不能反映两者的距离大小（重合度）。同时因为loss=0，没有梯度回传，无法进行学习训练。
    类似YOLO的检测网络，按照GT是否在cell判断当前bbox是否需要回归，所以可能存在无交集的情况。而一般的two stage网络，在bbox regress的时候都会卡IoU≥0.5，不会对无交集的框进行回归
  2. IoU无法精确的反映两者的重合度大小。如下图所示，三种情况IoU都相等，但看得出来他们的重合度是不一样的，左边的图回归的效果最好，右边的最差。

详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS

🍟GIOU(Generalized Intersection over Union)

1.来源

在CVPR2019中，论文Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression的提出了GIoU的思想。由于IoU是比值的概念，对目标物体的scale是不敏感的。然而检测任务中的BBox的回归损失(MSE loss, l1-smooth loss等）优化和IoU优化不是完全等价的，而且 Ln 范数对物体的scale也比较敏感，IoU无法直接优化没有重叠的部分。

这篇论文提出可以直接把IoU设为回归的loss。
详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS
上面公式的意思是：先计算两个框的最小闭包区域面积详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS(通俗理解：同时包含了预测框和真实框的最小框的面积)，再计算出IoU，再计算闭包区域中不属于两个框的区域（详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS）占闭包区域的比重（U就是并集），最后用IoU减去这个比重得到GIoU。

随附的：
generalized-iou/g-darknet

2.特性

  • 与IoU相似，GIoU也是一种距离度量，作为损失函数的话如下，满足损失函数的基本要求
    详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS
  • GIoU对scale不敏感
  • GIoU是IoU的下界，在两个框无限重合的情况下，IoU=GIoU=1
  • IoU取值[0,1]，但GIoU有对称区间，取值范围[-1,1]。在两者重合的时候取最大值1，在两者无交集且无限远的时候取最小值-1，因此GIoU是一个非常好的距离度量指标。
  • 与IoU只关注重叠区域不同，GIoU不仅关注重叠区域，还关注其他的非重合区域，能更好的反映两者的重合度。

详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS

def Giou(rec1,rec2):
    #分别是第一个矩形左右上下的坐标
    x1,x2,y1,y2 = rec1 
    x3,x4,y3,y4 = rec2
    iou = Iou(rec1,rec2)
    area_C = (max(x1,x2,x3,x4)-min(x1,x2,x3,x4))*(max(y1,y2,y3,y4)-min(y1,y2,y3,y4))
    area_1 = (x2-x1)*(y1-y2)
    area_2 = (x4-x3)*(y3-y4)
    sum_area = area_1 + area_2

    w1 = x2 - x1   #第一个矩形的宽
    w2 = x4 - x3   #第二个矩形的宽
    h1 = y1 - y2
    h2 = y3 - y4
    W = min(x1,x2,x3,x4)+w1+w2-max(x1,x2,x3,x4)    #交叉部分的宽
    H = min(y1,y2,y3,y4)+h1+h2-max(y1,y2,y3,y4)    #交叉部分的高
    Area = W*H    #交叉的面积
    add_area = sum_area - Area    #两矩形并集的面积

    end_area = (area_C - add_area)/area_C    #闭包区域中不属于两个框的区域占闭包区域的比重
    giou = iou - end_area
    return giou

3.存在的问题

在预测框和真实框没有很好地对齐时，会导致最小外接框详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS的面积增大，从而使GIOU的值变小，而两个矩形框不重合时，也可以计算GIOU。GIOU Loss虽然解决了IOU的上述两个问题，但是当两个框属于包含关系时，借用下图来说：GIOU会退化成IOU，无法区分其相对位置关系。
详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS

由于GIOU仍然严重依赖IOU，因此在两个垂直方向，误差很大，基本很难收敛，这就是GIoU不稳定的原因。借用下图来说：红框内部分：C为两个框的最小外接矩形，此部分表征除去两个框的其余面积，预测框和真实框在相同距离的情况下，水平垂直方向时，此部分面积最小，对loss的贡献也就越小，从而导致在垂直水平方向上回归效果较差。也就是几乎退化为IoU意思（下面的B可以看作A，C可以看作详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS）
详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS

🌭DIoU(Distance-IoU)

1.来源

针对上述GIOU的两个问题（预测框和真实框是包含关系的情况或者处于水平/垂直方向上，GIOU损失几乎已退化为IOU损失，即 |C – A U B | –> 0 ,导致收敛较慢）。有学者将GIOU中引入最小外接框来最大化重叠面积的惩罚项修改成最小化两个BBox中心点的标准化距离从而加速损失的收敛过程。该方法出自2020年AAAI 文章《Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression》

DIoU要比GIou更加符合目标框回归的机制，将目标与anchor之间的距离，重叠率以及尺度都考虑进去，使得目标框回归变得更加稳定，不会像IoU和GIoU一样出现训练过程中发散等问题。论文地址Distance-IoU

基于IoU和GIoU存在的问题，作者提出了两个问题：

  1. 直接最小化anchor框与目标框之间的归一化距离是否可行，以达到更快的收敛速度？
  2. 当它重叠甚至包含目标框时，如何使回归更准确和更快？

详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS
其中， b ，详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS分别代表了预测框和真实框的中心点，且 ρ 代表的是计算两个中心点间的欧式距离。 c 代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离。

详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS
随附的：
YOLOV3 DIoU GitHub项目地址

2.优点

  1. DIOU与IOU、GIOU一样具有尺度不变性;
  2. 与GIoU loss类似，DIoU loss（详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS）在与目标框不重叠时，仍然可以为边界框提供移动方向。
  3. DIoU loss可以直接最小化两个目标框的距离，因此比GIoU loss收敛快得多。
  4. 对于包含两个框在水平方向和垂直方向上这种情况，DIoU损失可以使回归非常快，而GIoU损失几乎退化为IoU损失。
  5. DIoU还可以替换普通的IoU评价策略，应用于NMS中，使得NMS得到的结果更加合理和有效。

3.实现代码

def Diou(bboxes1, bboxes2):
    rows = bboxes1.shape[0]
    cols = bboxes2.shape[0]
    dious = torch.zeros((rows, cols))
    if rows * cols == 0:#
        return dious
    exchange = False
    if bboxes1.shape[0] > bboxes2.shape[0]:
        bboxes1, bboxes2 = bboxes2, bboxes1
        dious = torch.zeros((cols, rows))
        exchange = True
    # #xmin,ymin,xmax,ymax->[:,0],[:,1],[:,2],[:,3]
    w1 = bboxes1[:, 2] - bboxes1[:, 0]
    h1 = bboxes1[:, 3] - bboxes1[:, 1] 
    w2 = bboxes2[:, 2] - bboxes2[:, 0]
    h2 = bboxes2[:, 3] - bboxes2[:, 1]
    
    area1 = w1 * h1
    area2 = w2 * h2

    center_x1 = (bboxes1[:, 2] + bboxes1[:, 0]) / 2 
    center_y1 = (bboxes1[:, 3] + bboxes1[:, 1]) / 2 
    center_x2 = (bboxes2[:, 2] + bboxes2[:, 0]) / 2
    center_y2 = (bboxes2[:, 3] + bboxes2[:, 1]) / 2

    inter_max_xy = torch.min(bboxes1[:, 2:],bboxes2[:, 2:]) 
    inter_min_xy = torch.max(bboxes1[:, :2],bboxes2[:, :2]) 
    out_max_xy = torch.max(bboxes1[:, 2:],bboxes2[:, 2:]) 
    out_min_xy = torch.min(bboxes1[:, :2],bboxes2[:, :2])

    inter = torch.clamp((inter_max_xy - inter_min_xy), min=0)
    inter_area = inter[:, 0] * inter[:, 1]
    inter_diag = (center_x2 - center_x1)**2 + (center_y2 - center_y1)**2
    outer = torch.clamp((out_max_xy - out_min_xy), min=0)
    outer_diag = (outer[:, 0] ** 2) + (outer[:, 1] ** 2)
    union = area1+area2-inter_area
    dious = inter_area / union - (inter_diag) / outer_diag
    dious = torch.clamp(dious,min=-1.0,max = 1.0)
    if exchange:
        dious = dious.T
    return dious

3.存在的问题

虽然DIOU能够直接最小化预测框和真实框的中心点距离加速收敛，但是Bounding box的回归还有一个重要的因素纵横比暂未考虑。

🍿CIoU(Complete-IoU)

1.特性

论文考虑到bbox回归三要素中的长宽比还没被考虑到计算中，因此，进一步在DIoU的基础上提出了CIoU。其惩罚项如下面公式：
详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS
其中 ɑ 是权重函数
详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS
而 v 用来度量长宽比的相似性，定义为详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS
完整的 CIoU 损失函数定义：

[公式]
最后，CIoU loss的梯度类似于DIoU loss，但还要考虑 v 的梯度，梯度在长宽为 [0,1] 的情况下，详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS的值通常很小，会导致梯度爆炸，因此在详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS实现时将替换成1。公式如下：
详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS

2.代码

def bbox_overlaps_ciou(bboxes1, bboxes2):
    rows = bboxes1.shape[0]
    cols = bboxes2.shape[0]
    cious = torch.zeros((rows, cols))
    if rows * cols == 0:
        return cious
    exchange = False
    if bboxes1.shape[0] > bboxes2.shape[0]:
        bboxes1, bboxes2 = bboxes2, bboxes1
        cious = torch.zeros((cols, rows))
        exchange = True

    w1 = bboxes1[:, 2] - bboxes1[:, 0]
    h1 = bboxes1[:, 3] - bboxes1[:, 1]
    w2 = bboxes2[:, 2] - bboxes2[:, 0]
    h2 = bboxes2[:, 3] - bboxes2[:, 1]

    area1 = w1 * h1
    area2 = w2 * h2

    center_x1 = (bboxes1[:, 2] + bboxes1[:, 0]) / 2
    center_y1 = (bboxes1[:, 3] + bboxes1[:, 1]) / 2
    center_x2 = (bboxes2[:, 2] + bboxes2[:, 0]) / 2
    center_y2 = (bboxes2[:, 3] + bboxes2[:, 1]) / 2

    inter_max_xy = torch.min(bboxes1[:, 2:],bboxes2[:, 2:])
    inter_min_xy = torch.max(bboxes1[:, :2],bboxes2[:, :2])
    out_max_xy = torch.max(bboxes1[:, 2:],bboxes2[:, 2:])
    out_min_xy = torch.min(bboxes1[:, :2],bboxes2[:, :2])

    inter = torch.clamp((inter_max_xy - inter_min_xy), min=0)
    inter_area = inter[:, 0] * inter[:, 1]
    inter_diag = (center_x2 - center_x1)**2 + (center_y2 - center_y1)**2
    outer = torch.clamp((out_max_xy - out_min_xy), min=0)
    outer_diag = (outer[:, 0] ** 2) + (outer[:, 1] ** 2)
    union = area1+area2-inter_area
    u = (inter_diag) / outer_diag
    iou = inter_area / union
    with torch.no_grad():
        arctan = torch.atan(w2 / h2) - torch.atan(w1 / h1)
        v = (4 / (math.pi ** 2)) * torch.pow((torch.atan(w2 / h2) - torch.atan(w1 / h1)), 2)
        S = 1 - iou
        alpha = v / (S + v)
        w_temp = 2 * w1
    ar = (8 / (math.pi ** 2)) * arctan * ((w1 - w_temp) * h1)
    cious = iou - (u + alpha * ar)
    cious = torch.clamp(cious,min=-1.0,max = 1.0)
    if exchange:
        cious = cious.T
    return cious

3.存在的问题

长宽比权重的设计不是很清楚，是否有更好的设计方法需要更新。

🍞DIoU-NMS

这个在DIoU中的优点5有提到（他的前身Soft-NMS查看该链接学习）
在原始的NMS中，IoU指标用于抑制多余的检测框，但由于仅考虑了重叠区域，经常会造成错误的抑制，特别是在bbox包含的情况下。因此，可以使用DIoU作为NMS的标准，不仅考虑重叠区域，还考虑了中心点距离。(基于DIoU作为NMS标准，虽然多了距离这个维度去考虑问题，但和NMS面对的同样的情况是当两个不同的目标本身就靠的很近的时候还是会造成错误的抑制)
详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS
其中详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS是分类置信度， ε 为NMS阈值， M 为最高置信度的框。DIoU-NMS倾向于中心点距离较远的box存在不同的对象，而且仅需改几行代码，DIoU-NMS就能够很简单地集成到目标检测算法中。

注意：有读者会有疑问，这里为什么不用CIOU_nms，而用DIOU_nms?
答：因为前面讲到的CIOU_loss，是在DIOU_loss的基础上，添加的影响因子，包含groundtruth标注框的信息，在训练时用于回归。
但在测试过程中，并没有groundtruth的信息，不用考虑影响因子，因此直接用DIOU_nms即可。

🥞损失函数（IoU+GIoU+DIoU+CIoU+DIoU-NMS）在YOLOv3上的性能(论文效果)

详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS
目标检测算法之AAAI 2020 DIoU Loss 已开源(YOLOV3涨近3个点)

上表展示了前面提到的四种IoU和一种DIoU-NMS，最后一个达到了最好的效果

🍱EIoU

CIOU Loss虽然考虑了边界框回归的重叠面积、中心点距离、纵横比。但是通过其公式中的v反映的纵横比的差异，而不是宽高分别与其置信度的真实差异，所以有时会阻碍模型有效的优化相似性。针对这一问题，有学者在CIOU的基础上将纵横比拆开，提出了EIOU Loss，并且加入Focal聚焦优质的锚框，该方法出自于2021年的一篇文章《Focal and Efficient IOU Loss for Accurate Bounding Box Regression》
文章链接：arxiv.org/pdf/2101.0815…

1.特性

EIOU的惩罚项是在CIOU的惩罚项基础上将纵横比的影响因子拆开分别计算目标框和锚框的长和宽，该损失函数包含三个部分：重叠损失，中心距离损失，宽高损失，前两部分延续CIOU中的方法，但是宽高损失直接使目标盒与锚盒的宽度和高度之差最小，使得收敛速度更快。惩罚项公式如下：
详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS
其中 Cw 和 Ch 是覆盖两个Box的最小外接框的宽度和高度。

考虑到BBox的回归中也存在训练样本不平衡的问题，即在一张图像中回归误差小的高质量锚框的数量远少于误差大的低质量样本，质量较差的样本会产生过大的梯度影响训练过程。作者在EIOU的基础上结合Focal Loss提出一种Focal EIOU Loss，梯度的角度出发，把高质量的锚框和低质量的锚框分开，惩罚项公式如下：
详解IoU、GIoU、DIoU、CIoU、EIoU和DIoU-NMS
其中IOU = |A∩B|/|A∪B|， γ为控制异常值抑制程度的参数。该损失中的Focal与传统的Focal Loss有一定的区别，传统的Focal Loss针对越困难的样本损失越大，起到的是困难样本挖掘的作用；而根据上述公式：IOU越高的损失越大，相当于加权作用，给越好的回归目标一个越大的损失，有助于提高回归精度。

2. 存在的问题

本文针对边界框回归任务，在之前基于CIOU损失的基础上提出了两个优化方法：

  1. 将长宽比的损失项拆分为预测的宽高与最小边界框宽高之差，加快了收敛速度，提高了回归精度；
  2. 引入了Focal Loss优化了边界框回归任务中的样本不平衡问题，即减少与目标框重叠较少的大量锚框对BBox 回归的优化贡献，使回归过程专注于高质量锚框。

不足之处或许在于Focal的表达形式是否有待改进。

🍕⚔🍔⚔🍟⚔🌭⚔🍿⚔🍱

tips:其实就是IOU、GIOU、DIOU、CIOU、EIOU对比，最近迷上了图片，哈哈哈哈哈

边界框回归的三个几何因素：重叠面积、中心点距离、纵横比

  • IOU Loss：考虑了重叠面积，归一化坐标尺度；
  • GIOU Loss：考虑了重叠面积，基于IOU解决边界框不相交时loss等于0的问题；
  • DIOU Loss：考虑了重叠面积和中心点距离，基于IOU解决GIOU收敛慢的问题；
  • CIOU Loss：考虑了重叠面积、中心点距离、纵横比，基于DIOU提升回归精确度；
  • EIOU Loss：考虑了重叠面积，中心点距离、长宽边长真实差，基于CIOU解决了纵横比的模糊定义，并添加Focal Loss解决BBox回归中的样本不平衡问题。
IOU LossGIOU LossDIOU LossCIOU LossEIOU Loss
优点IOU算法是目标检测中最常用的指标，具有尺度不变性，满足非负性；同一性；对称性；三角不等性等特点。GIOU在基于IOU特性的基础上引入最小外接框解决检测框和真实框没有重叠时loss等于0问题。DIOU在基于IOU特性的基础上考虑到GIOU的缺点，直接回归两个框中心点的欧式距离，加速收敛。CIOU就是在DIOU的基础上增加了检测框尺度的loss，增加了长和宽的loss，这样预测框就会更加的符合真实框。EIOU在CIOU的基础上分别计算宽高的差异值取代了纵横比，同时引入Focal Loss解决难易样本不平衡的问题。
缺点1.如果两个框不相交，不能反映两个框距离远近 2.无法精确的反映两个框的重合度大小1.当检测框和真实框出现包含现象的时候GIOU退化成IOU 2.两个框相交时，在水平和垂直方向上收敛慢回归过程中未考虑Bounding box的纵横比，精确度上尚有进一步提升的空间1. 纵横比描述的是相对值，存在一定的模糊 2. 未考虑难易样本的平衡问题待定

🤦‍♂️跟进

好像今年又有新的NMS出现了

🥗 报价

[1]目标检测回归损失函数简介：SmoothL1/IoU/GIoU/DIoU/CIoU Loss
[2]IoU、GIoU、DIoU、CIoU损失函数的那点事儿
[3]目标检测回归损失函数——IOU、GIOU、DIOU、CIOU、EIOU
[3]特性参考 https://zhuanlan.zhihu.com/p/57863810
[4]DIoU参考
[5]DIOU代码实现
[6]AAAI 2020 | DIoU 和 CIoU：IoU 在目标检测中的正确打开方式
[7]https://blog.csdn.net/TJMtaotao/article/details/103317267
[8]《YOLOV4&5原理与源代码解析之四：DIoU-NMS》
[9]基于DIou改进的YOLOv3目标检测

文章出处登录后可见！

已经登录？立即刷新

共计人评分，平均分

到目前为止还没有投票！成为第一位评论此文章。

赞 (1)
扎眼的阳光的头像扎眼的阳光普通用户
0
上一篇 2022年4月1日 下午3:51
下一篇 2022年4月1日 下午5:54

相关推荐