An improved Otsu method using the weighted object variance for defect detection

一种改进的基于加权目标方差的Otsu缺陷检测方法

//2022.5.14晚上20:35开始阅读笔记

论文地址

An improved Otsu method using the weighted object variance for defect detection – ScienceDirect

论文贡献

本研究提出一种改进的Otsu方法，称为加权目标方差（WOV），用于检测产品表面的缺陷。等于缺陷发生累积概率的参数根据类间方差的对象方差进行加权。权重确保阈值始终位于两个峰值的谷值或单峰直方图的左下边缘。高检测率和低误报率对缺陷检测至关重要。实验结果表明，改进的Otsu法在各种表面缺陷检测中是有效的。与其他阈值方法（如最大熵法、Otsu法、谷值强调法和改进的谷值强调法）相比，WOV方法提供了更好的分割结果。

论文内容

1.介绍

首先作者介绍了目前基于计算机视觉技术的缺陷检测方法：无损检测方法为缺陷检测提供了有效的方法，如渗透检测法（PT）、磁粉检测法（MP）[1]、涡流检测法（EC）[2]和机器视觉检测法[3]。PT可以在产品表面发现极其细微的缺陷，但对于粗糙或肮脏的表面，结果很差。MP可以准确地找到表面裂纹，但它只能用于铁磁性零件。EC可以快速检测导电材料的缺陷。然而，它的检测结果对探针的发射非常敏感。机器视觉检测表面缺陷具有较高的速度和精度，已被制造企业广泛应用[4,5]。基于视觉的检测系统需要三个过程，包括图像采集、图像处理和缺陷结论。

接着作者介绍了图像分割中的阈值技术。图像处理通过分析图像的特征来发现缺陷，包括图像分割、特征提取和缺陷分类等步骤。图像分割是缺陷检测中最重要和最具挑战性的步骤之一。阈值分割是图像分割中常用的工具，用于从图像背景中提取缺陷[6]。阈值技术可分为全局阈值和局部阈值[7]。局部阈值分割利用局部灰度信息选择多个阈值，可以处理光照不均匀的情况，但过程复杂且缓慢。全局阈值分割，对整个图像使用单个阈值，易于实现，并广泛应用于自动视觉检测应用中，以实现有效和准确的检测[8]。本文主要讨论缺陷检测的全局阈值问题。

在过去的几十年里，人们提出了许多阈值方法来检测表面缺陷。例如，Li等人[9]提出了一种基于最大加权对象相关性的阈值方法，用于钢轨缺陷检测。该阈值法是一种改进的最大熵法。Funck等人[10]使用聚类和区域生长技术检测木材图像上的缺陷。文献[11-13]讨论了阈值技术的各种缺陷检测应用。大部分阈值化方法为特定应用提供了预期的结果，但没有一种通用的方法可用于缺陷检测。

Sezgin[14]对各种全局阈值技术进行了彻底的调查，并提出Otsu[15]阈值是确定一般图像阈值的最常用方法之一。通过从图像直方图中选择最大类间方差或最小类内方差的阈值，当对象和图像背景具有相似的方差时，Otsu方法可以获得满意的分割效果，但是，如果对象和图像背景的大小相差很大，该方法将失败。换句话说，Otsu方法对于双峰分布直方图的图像阈值化提供了令人满意的结果，但对于单峰分布或接近单峰分布的图像直方图，Otsu方法失败[16]。为了精确分割图像，人们提出了一些改进的Otsu方法。例如，Hu等人[17]使用图像背景与感兴趣区域的比例范围来限制阈值选择的范围，并在分割人脑的磁共振和计算机断层扫描图像时取得了可靠的结果。乔等人[18]通过探索强度对比度的知识，提出了一种利用类内方差和强度对比度加权和分割小物体的准则。为了有效地检测缺陷，Ng[19]提出了一种改进的Otsu方法，称为valley emphasis（VE）方法，使用目标函数中的谷点信息。VE方法可以成功地检测某些图像中的缺陷，但对于缺陷非常小的图像，它失败了。针对这个问题，Fan和Bo[20]提出了一种改进的VE方法，称为邻域谷强调（NVE），利用谷点的邻域信息来提高分割质量。尽管乔等人认为，由于阈值偏向较大的方差，Otsu方法在从图像背景分割小对象时是不合适的，但他们的结果都是基于实验，没有理论支持。Xu等人[21]发现了Otsu阈值的一个重要性质，它等于由该阈值划分的两类平均水平的平均值。他们的发现合理地解释了乔、胡和吴的实验结果。

上面讨论的阈值方法是只考虑灰度信息而不考虑空间邻域信息的一维Otsu方法，对于噪声或光照不均的图像很难获得满意的分割结果[22]。为了更好地利用每个像素的灰度信息和邻域内的空间相关信息，提出了二维Otsu方法。然而，它增加了计算复杂度，难以在实时视觉检测系统中使用[23]。改进的2D Otsu方法可在文献[24,25]中找到。

通过分析Otsu方法存在的问题和改进的Otsu方法在缺陷检测中的应用，本文提出了一种有效的阈值化方法，称为加权目标方差（WOV），用于视觉检测系统中的缺陷检测。本研究的贡献总结如下：

1. 提出了一种改进的Otsu方法，对类间方差的对象方差进行加权。权重等于缺陷发生的累积概率，以确保阈值始终是位于双峰谷或单峰直方图左下缘的值。

2. 通过对各种图像的误分类误差和数千幅钢轨表面图像的缺陷检测率（DR）、虚警率（FAR）验证了该方法的有效性和性能。

2. 现有Otsu缺陷检测方法存在的问题

本节首先简要介绍了选择图像阈值的Otsu方法。然后分析了Otsu方法和广泛使用的改进Otsu方法，如VE和NVE方法在图像目标阈值化中存在的问题，提出了一种改进的Otsu方法用于缺陷检测。

2.1 Otsu方法

图像可以描述为灰度范围从0到L-1的I（x，y），其中L是不同灰度级的数量。设灰度i的像素数为ni，n为给定图像中大小为M×N的像素总数。灰度i的出现概率定义如下。

如果通过阈值t将图像分为两类，D0和D1，则D0由级别为[0，t]的像素组成，D1由级别为[t+1，L-1]的像素组成. 让P0(t)和P1(t)分别表示累积概率，u0(t)和u1(t)分别表示D0和D1类的平均水平。

两个等级的平均水平可计算为：

对于阈值t，Otsu表明D0和D1的类间方差δb(t)如下所示。

Otsu法的最佳阈值TH可确定为：

在单阈值的情况下，Otsu方法适用于直方图双峰分布的图像。然而，当直方图为单峰分布或接近单峰分布时，阈值将不正确。在视觉检测应用中，大多数产品是无缺陷的，或者一些产品含有缺陷，但与无缺陷区域相比，缺陷要小得多。因此，图像的直方图是单峰或是接近于单峰的。Otsu方法无法使用直方图单峰分布分割图像的原因是，Otsu阈值等于由该阈值分割的两类图像平均水平的平均值[21]。

图1的a展示了带有一个缺陷的轨道图像（红色圆圈中的黑色区域）。与图像背景的大小相比，缺陷非常小。如图1（d）所示，图像的直方图接近单峰分布。使用Otsu方法生成错误的阈值，图1（a）的分割结果如图1（b）所示，而期望的结果如图1（c）所示。所需阈值和Otsu阈值的比较如图1（d）所示。本文将灰度低于阈值的区域定义为物体或缺陷（黑色像素），高于阈值的像素的灰度定义为背景（白色像素）。

2.2 改进的Otsu方法

只有当目标和图像背景具有相似的方差时，Otsu方法才能获得满意的分割效果。为了使用Otsu方法自动、正确地检测缺陷，提出了许多改进的Otsu方法。例如Ng[19]和Fan[20]引入了谷值强调方法（VE和NVE），使阈值保持在直方图的谷值。Ng[19]和Fan[20]主要将式（6）改为式（8），如下所示：

其中1− p（t）是式（6）中类δb(t)之间的权重。p（t）是灰度t在区间n=2m+1内的邻域灰度概率之和，其中n是邻域长度。Fan[20]认为n=11是比其他值更好的选择。当n=1时，NVE方法等于VE方法。VE方法选择了一个接近直方图谷的阈值，分割结果优于Otsu方法。VE方法适用于一些缺陷较大的图像。然而，它错误地检测到了一些无缺陷的图像到有缺陷的图像。NVE方法利用谷点的邻域信息改进了VE方法，提高了分割质量。在我们的实验中，我们发现，只有当图像的直方图是双峰或接近双峰时，NVE方法才能提供满意的结果。如果图像的直方图是单峰的，则NVE方法会失败，因为其阈值位于直方图的底部边缘（右下边缘或左下边缘）。换言之，NVE方法可以对大多数缺陷图像提供满意的结果，但无法分割一些无缺陷图像。

图2展示了VE和NVE方法对包含两个无缺陷图像（图像I和II）和一个缺陷图像（图像III）的三幅图像的分割结果。（a）-（c）列分别是原始图像、VE和NVE方法的分割结果。图3是对应于图2（a）的图像直方图。NVE方法分别为阈值TH=147和TH=213的图像I和图像II提供了完全错误的阈值，这将几乎所有背景分割为对象。NVE阈值位于直方图的右边缘，但所需阈值应位于左边缘，如图3（a）和（b）所示。VE阈值位于直方图的局部谷，并将部分背景分割为对象。

针对缺陷检测的自动阈值方法，如VE和NVE方法的研究主要集中在缺陷图像的阈值选择上。忽略了无缺陷图像的分割，导致大多数阈值方法都能正确地将缺陷从背景中分离出来，但却错误地将无缺陷图像归纳为检测图像。如果检测到无缺陷图像是有缺陷的图像，则会导致错误的检测。理想的视觉检测系统应具有高DR和低FAR缺陷[9]。

通常，缺陷的灰度与图像背景或无缺陷区域不同。例如，在图1（a）和图2（a）中的图像III中，缺陷位于红色圆圈中，其灰度低于图像背景。根据缺陷的灰度信息可以检测出缺陷。然而，由于以下因素，选择最佳阈值将缺陷与图像背景分离是一个挑战：

1. 一些产品表面经常出现光照不均，其图像缺陷与背景之间的对比度较低。
2. 大多数产品表面没有缺陷或缺陷比其背景区域小得多，因此，图像直方图是单峰分布或接近单峰分布。
3. 有些产品暴露在外部环境中，其缺陷很容易隐藏在环境中。例如，在检测钢轨表面缺陷时，缺陷往往隐藏在铁锈中。

通过分析现有阈值缺陷检测方法存在的问题和挑战，提出了一种改进的Otsu缺陷检测方法，旨在提高视觉检测系统中缺陷的DR和FAR。

3.提出方法

3.1 提出的WOV方法

根据上述对Otsu法的讨论，式（6）中的第一项被定义为目标方差，第二项P1tu1t2被定义为背景方差。如果阈值位于单峰的左下缘，或两个峰的谷（第一个峰比第二个峰小得多），则目标方差接近于0，背景方差接近于最大值。当增加灰度t时，对象方差增加，但背景方差减少。当灰度t=(u0(t)+u1t)/2时，类间方差达到最大值[21]。图4（a）显示了图1（a）的灰度变化。当t<30时，目标方差接近0，背景方差接近最大值。图1（a）的期望阈值应小于30，但Otsu阈值接近50。

如果缺陷的灰度低于其背景，则对于无缺陷图像，所需的阈值应位于直方图的左下边缘，或者位于缺陷图像直方图的小峰值和大峰值之间的山谷。在缺陷检测应用中，大多数图像都是无缺陷的。即使产品含有缺陷，缺陷区域通常也比背景区域小得多。因此，缺陷图像的直方图接近单峰分布。因此，与Otsu阈值生成的阈值相比，所需阈值应接近低灰度。Otsu阈值TH=(u0t+u1t)/2使对象和背景具有相似的大小[21]。所需阈值应将缺陷概率保持在一个较小的值，甚至等于0。为了获得所需的阈值，第一项（对象方差）对类间方差的贡献应较小，阈值应主要由第二项（背景方差）决定。一个从0到1的参数ω可以在第一项上加权，第二项保持不变。加权对象方差是原始对象方差的ω倍。所提出的方法可以写成如下。

所提出方法的最佳阈值TH为：

在等式（9）中，参数ω是对象方差的权重，ω的值在0到1之间。AsωP0tu0t2≤P0tu0t2，该方法的阈值等于或小于Otsu阈值。由于ω的范围为0到1，我们随机选择ω=0.1作为加权灰色方差的示例，并使用图1（a）来说明加权灰色方差的变化。在图4（b）中，图1（a）的加权对象方差（蓝色曲线）比原始对象方差（绿色曲线）小得多，对类间方差的贡献更小。δb(t)的曲线和Yb（t）曲线如图4（c）所示。因此，得到的阈值主要由背景方差决定，并且接近期望阈值。在视觉检测系统中，不同产品的图像差异很大，固定的权重值不能满足应用要求。因此，需要一种自动加权方法来选择图像分割的最佳阈值。

3.2 WOV方法的自适应权重选择

等式（9）中的权重ω在0到1之间。ω越小，阈值越小，因为阈值主要由背景方差决定。ω越大，阈值越接近Otsu阈值。不同的图像需要不同的ω值。因此，视觉检查需要一个自适应权重。在无缺陷图像的情况下，对象方差应接近0，ω可选择接近0，而ω应设置为缺陷图像的较大值。大缺陷要求ω值接近1。重量最好随缺陷发生的概率而变化。公式（2）中的累积概率P0（t）的值范围为0到1，等于用t分割缺陷时缺陷发生的累积概率。P0(t)的值以非线性方式随灰度t增加。当阈值确定在单峰的左下边缘，无缺陷图像时，P0(t)接近于0，当阈值位于缺陷图像的两个峰值谷时，缺陷越大，P0(t)值越大。受P0(t)值的启发，我们设置ω=P0(t)。等式（9）可以改写如下：

4. 实验结果与分析

实验是在一台使用MATLAB R2009a、英特尔核心2.30GHz CPU和1.19GB内存的计算机上进行的。为了验证该方法的有效性，我们采用了三个指标来评估阈值性能：一个是误分类误差（ME），用于评估单个图像的分割结果。ME反映了错误地分配给前景的背景像素的百分比，反之，前景像素错误地分配给背景[26]。其他的是DR和FAR的缺陷检测。DR和FAR被广泛用作模式识别的标准[27]。它们用于综合评估多幅图像的缺陷检测结果。将Otsu和其他方法（如VE、NVE和最大熵[28]）与建议的WOV方法进行比较。在这些方法中，VE和NVE是改进的Otsu方法，最大熵是一种经典的全局阈值方法，广泛用于缺陷检测应用的图像分割[29]。

使用三组不同的图像来测试分割结果。其中一组包含检测应用的不同材料中的几种常见缺陷，例如用于测试ME值的木材、金属、织物和钢轨图像。另一个包含1000张钢轨图像的测试数据集用于评估缺陷检测的DR和FAR。最后一个数据集用于测试其他应用程序的分割结果。

4.1 各种缺陷检测应用中的ME值

对于两类分割问题，ME可以简单地表示为：

其中B0和F0分别表示手动阈值化图像的背景和前景区域像素，BT和FT表示使用不同方法阈值化的图像中的背景和前景区域像素。|⋅|是集合的基数。对于完全分类的图像，ME值为0，对于完全错误的二值化图像，ME值为1。许多文献使用ME值来评估图像的分割结果，如参考文献[30–32]。

为了验证该方法的广泛应用，本文对金属、木材、织物和钢轨表面等10幅图像进行了分割。ME值用于测量分割结果。在这些图像中，金属、木材和织物图像是在室内收集的。在不同的铁路和不同的外部环境下拍摄了七幅铁路表面图像。由于暴露在室外的产品容易受到环境的影响，因此在室外采集的图像比在室内采集的图像更难检测到缺陷，因此实验中包括了更多在室外采集的图像。由于铁路暴露在外面，一些钢轨表面被大量铁锈覆盖，其中图像灰度通常低于背景灰度，很容易被检测为缺陷（如图8和图9中的图像I和II）。一些铁路表面是光滑的，经常使用，这些铁路表面的中心区域通常是光滑的，通过镜面反射反射的光比生锈的周边区域反射的光更多。因此，中心区域的灰度高于外围区域（例如图10和11中的图像III和IV）。在视觉检测系统中，除了需要分割有缺陷的图像外，无缺陷图像的分割也非常重要。因此，我们的实验中包含了无缺陷图像分割。无花果。5-14显示了五种方法的分割结果和图像的直方图。表1显示了使用五种方法的十幅图像的ME值。红色圆圈中的黑色区域是缺陷。

图5的（a）是一个有两个小缺陷的金属图像。Otsu方法提供了比其他方法更大的阈值，并将一部分背景分割成缺陷。尽管NVE方法提供的ME值接近于0，但它错误地将所有像素分割到背景中，阈值TH=62。VE和最大熵方法在ME值等于0的情况下获得了完美的结果。该方法生成阈值TH=76，并漏掉一个缺陷。图6（a）是一个木材图像，其中有一个缺陷需要检测。Otsu和VE方法获得相同的阈值，并且他们不恰当地将超过一半的背景分割为ME值等于0.6894的缺陷。图7示出了织物图像上的污染检测的示例。我们的方法和最大熵方法都获得了一个理想的阈值。NVE方法给出了一个错误的结果，将两个小缺陷分割到背景中。

图8-10展示了三幅无缺陷钢轨图像的分割结果。两张无缺陷图像（图8和图9中的图像I和II）被锈迹覆盖，另一张图像中心光滑，但外围黑暗（图10中的图像III）。NVE方法完美地分割出轨道图像I，其中阈值位于直方图的左下边缘，但对图像II提供了完全错误的结果，其中阈值位于直方图的右下边缘，它将所有背景分割为缺陷。Otsu、VE和最大熵方法对图像I和II都提供了错误的结果，图像I的结果比图像II的结果差。NVE和我们的方法对图像III获得了完美的结果，但其他三种方法错误地将暗边缘分割为缺陷。

图11-14展示了显示四个缺陷轨道图像的分割结果。两个钢轨表面光滑（图11和图12中的图IV和图V），而其他钢轨表面被铁锈覆盖（图VI和VII在图13和14中）。图IV包含许多轻微划痕和一个很大的缺陷，即压痕。对于图像IV，中心区域是平滑的，但外围区域是暗的。当阈值位于直方图的左下边缘时，NVE方法将所有缺陷分割到背景中。最大熵方法能很好地检测出大缺陷，但错误地将边缘分割成缺陷。我们的方法没有将背景检测为缺陷，而是错误地将一部分缺陷分割为背景。Otsu方法和VE方法获得的大阈值可以正确分割大缺陷和一些划痕，但背景部分被错误地分割为缺陷。轨道图像V–VII在轨道表面上包含裂纹，但图像V的轨道表面光滑，照明均匀。图六和图七被铁锈覆盖，图七看起来很暗。除了Otsu和VE方法外，其他三种方法对图像V和VI获得了可接受的结果。对于图像VII，VE和我们的方法提供了完美的结果，但NVE和最大熵方法几乎产生完全错误的结果，其ME接近1。

从这组实验可以得出结论，VE方法提供了一个位于直方图局部谷的阈值，因此对于大多数无缺陷图像，它得到了错误的结果。NVE方法通常会在直方图的底部边缘生成一个阈值。因此，它将几乎所有的背景分割为缺陷，或将缺陷分割为背景。最大熵方法对某些缺陷图像有很好的检测效果，但对无缺陷图像检测失败。由于类间对象方差的权重等于缺陷发生的累积概率，因此建议的WOV方法总是将缺陷发生的概率设置为一个较小的值，并提供一个位于单峰左下缘或双峰谷的阈值，因此，在缺陷检测应用中，它对各种不同的图像提供了近乎完美的分割结果。从表1可以看出，WOV方法生成的ME值都接近于0。

4.2 钢轨缺陷检测的缺陷检出率和错误警告率

在4.1节中，ME值用于评估图像的分割性能。然而，对于视觉检测系统中的缺陷检测而言，仅以ME值作为评价是不够的。在实际应用中，用户通常关心DR和远不止ME的价值。此外，一些ME值较小的图像可能不容易生成正确的分割结果。例如，在金属和织物图像图5和7的分割结果中。NVE方法获得接近0的ME值，但它将小缺陷分割到背景中。在视觉检测系统中，一些噪声可能被检测为缺陷，但如果缺陷很小，它们可以被忽略。

利用线阵CCD摄像机在实际铁路中采集了1000幅钢轨图像，构建了一个数据集，对缺陷检测结果进行综合测试。数据集包括177张至少有一个缺陷的图像和823张无缺陷的图像。包含的无缺陷图像比有缺陷的图像更多，因为大多数实际运行中的导轨表面无缺陷。在这些图像中，一些轨道表面被铁锈覆盖，一些中心光滑，但边缘区域较暗。DR和FAR广泛应用于模式识别，并作为缺陷检测视觉检测系统的重要性能指标[33]。DR和FAR描述如下：

表2给出了使用五种方法测试图像的DR和FAR值。Otsu阈值偏向于类间方差较大的组件，使得背景和对象的方差大小相似。因此，Otsu方法将所有无缺陷图像检测为缺陷图像。NVE方法提供了高DR，但也提供了高FAR，因为铁锈覆盖的钢轨表面的一些无缺陷图像被检测为缺陷。最大熵法不能获得高的DR，因为有些缺陷隐藏在锈迹中。我们的方法为无缺陷图像提供了一个位于直方图左下边缘的阈值，为缺陷图像提供了两个峰值的谷值。因此，我们的方法可以获得最高的DR和最低的FAR，满足视觉检测系统的要求。

 4.3 经典图像分割的应用

除了使用WOV方法进行缺陷检测外，数字图像处理中的一些经典图像也用于测试所提出的WOV方法。测试了三种直方图接近单峰、单峰和双峰分布的图像。无花果。15–17分别显示月亮、大米和圆形图像的分割结果和直方图。WOV方法为直方图接近单峰或双峰分布的图像（如月球和圆形图像）提供了近乎完美的结果，而对于直方图单峰分布的图像（如大米图像），由于阈值位于直方图的左下边缘，它会错误地显示结果。对于这三幅图像，NVE方法得到了比其他方法更好的分割结果。

所提出的WOV方法对各种缺陷图像（小缺陷图像）和直方图为双峰或接近单峰分布的无缺陷图像都能获得正确的分割结果，但对缺陷较大的图像或直方图为单峰分布的物体是不正确的。

4.4 加权ω对缺陷检测的影响

如上所述，不同的权重值可能导致不同的阈值。ω越小，阈值越小，ω越大，阈值越接近Otsu阈值。构造了一组权重ω=0,0.2,0.4,0.6,0.8，用于检测1000个轨道图像的缺陷，并与ω=P0（t）进行比较。DR和FAR用于测量检测结果。当ω=0时，等式（9）可以写成Yb（t）=P1（t）（u1（t））2，阈值仅由背景方差决定。DR和FAR的结果列于表3。可以得出结论，当ω=0时，FAR最低，阈值最小；当ω=P0（t）时，DR最高。然而，DR比FAR更重要，因此ω=P0（t）是缺陷检测应用的更好选择。此外，当不同产品的图像不同时，恒定的权重值（如ω=0）无法满足不同图像的要求。因此，自适应权重是机器视觉检测的更好选择。

5.总结

本文提出了一种改进的Otsu方法，即WOV方法，用于自动选择缺陷检测的最佳阈值。范围从0到1的参数用作类间对象方差的权重。对于缺陷检测应用，等于缺陷发生累积概率的权重是更好的选择。自动加权方法确保阈值始终位于两个峰值或单个峰值的左下边缘。与最大熵法、Otsu法、VE法和NVE法相比，该方法在缺陷检测中取得了更好的分割效果。VE阈值位于直方图的一个局部谷，对大多数无缺陷图像给出了错误的阈值，或者将背景检测为缺陷。NVE阈值位于单峰的底部边缘，因此它错误地将背景分割为一些无缺陷图像的缺陷。最大熵方法成功地分割了大部分缺陷图像，但对无缺陷图像分割失败，导致缺陷检测的FAR较高。实验表明，所提出的WOV方法可用于各种缺陷检测应用，如污染检测、木材节点检测和钢轨表面裂纹检测。所提出的WOV方法在检测的钢轨图像中获得了94%的DR和8.4%的FAR。此外，WOV方法简单易行，可用于实时缺陷检测。由于建议的WOV阈值位于单峰的左下边缘，因此对于较低的缺陷检测距离至关重要。然而，对于具有较大缺陷的图像或直方图为单峰分布的对象，例如图16中的rice图像，这是不正确的。在未来，更多的工作将致力于单峰图像分割。

本文仅作为日后复习之用，并无他用。