1. 基本资料

官网：https://www.mvtec.com/company/research/datasets/mvtec-ad/
Paper：https://link.springer.com/content/pdf/10.1007/s11263-020-01400-4.pdf

2. 数据集介绍

2.1. 统计数据

1. MVTEC为无监督缺陷检测数据集，共包含3466张无标注图，1888张有标注图（像素级分割标注），大小均为700×700或1024×1024；
2. training dataset有3629张，全部为无缺陷图；test dataset有1725张，为有缺陷图片+无缺陷图；
3. 图片可划分为5种纹理+10种物体，包含73种缺陷（划痕，凹陷，脏污，形变，缺料等，均为人工制作），总计标注1900个region；
4. 铁丝网(grid), 螺丝钉(screw)和弹簧(zipper)这3个类别的图为单通道，其它12个类别为3通道。
   ##2.2. 图例

2.2.1. 总共15个类别：

纹理图：地毯，铁丝网，皮革，瓷砖，木头（前两者有规律重复的纹理，后三者是无规律的）
物体图：瓶子，电缆，胶囊，栗子，金属螺母，药片，螺丝，牙刷，晶体管，弹簧（瓶子螺母等是刚性不变外观，电缆栗子等是可变的）

2.2.2. 各类别的图片及标注统计：

2.2.3. 各类别的图片测试集缺陷统计：

3. 测试指标

3.1. 图像级别指标（image-level metric)

一般使用标准的AUROC(area under receiver operating characteristic curve)，具体如下
无缺陷样本gt为0，有缺陷样本gt为1
下式中p为样本，Gi§表示样本p的gt，Ai§表示样本p预测有缺陷的score，t为自设阈值
通过不同阈值生成不同的True Positive Rate(TPR)和False Positive Rate(FPR)对，绘制ROC曲线，计算曲线下面积。

3.2. 图像级别指标（pixel-level metric)

由图像级别的AUROC扩展，对每个像素点分类，计算AUROC

3.3. 缺陷区域级别指标（region-level metric)

使用PRO-score，具体计算如下
将图片内的缺陷根据连通域分为单个缺陷统计IoF，Ci,k代表第i张图中的第k个缺陷的区域，Pi代表该图预测为缺陷的区域。可求得PRO(per-region overlap)。

调整阈值计算出FPR在0~0.3之间的PRO值，形成PRO-FPR曲线，计算曲线下面积，即为PRO-score