人工智能应用于口罩检测：迁移学习应用

xiaoxingxing

3 年前

Table of Contents

应用机器学习

人工智能应用于口罩检测：迁移学习应用

将预训练模型应用于分类问题

人工智能应用于口罩检测：迁移学习应用

迁移学习是在几分钟内适应极其复杂的模型以获得非常好的结果的最佳方式。在本文中，我将迁移学习应用于掩码检测。

Introduction

口罩检测是当今世界的一个相关问题。在撰写本文时，欧洲的许多国家仍然强制您在室内和公共交通工具上佩戴它们。训练一个模型来检测是否戴口罩是一个有趣的问题，我可以展示迁移学习的潜力。

从图片中预测口罩是否正确佩戴涉及多个步骤。每个图像可以包含多个人，我们想要对每个人进行预测。问题的第一部分涉及在每张图像中找到人脸，裁剪人脸，并准备将它们用作机器学习模型的输入。问题的第二部分是分类问题。裁剪后的人脸分为 3 类：“口罩”、“不戴口罩”、“戴错口罩”。

数据

在整篇文章中，我使用面罩检测 | Kaggle 数据集是一个公共数据集，包含 800 多张带标签的戴口罩的人的图像。[0]

数据集被标记。每张图像都包含有关每张脸在哪里的信息，以及该人是否正确、错误地佩戴了口罩，或者根本没有佩戴口罩。绝大多数贴有标签的面孔都戴着口罩。

检测人脸

问题的第一部分是检测图像中的人脸，裁剪它们并准备好用作分类器的输入。

为了检测人脸，我使用了 CV2 的预训练模型，该模型接收图像并返回图像中人脸的坐标。我尝试了他们在这里找到的许多模型，但我发现“haarcascade_frontalface_alt2.xml”最适合戴面具的脸。[0]

上面的代码加载了 CV2 人脸模型，然后循环遍历每张图像，找到每张脸，并将鲮鱼的位置添加到 pandas 数据帧。生成的数据框如下所示：

CV2 模型经过训练可以检测没有蒙版的人脸，因此它们无法在每张图片中找到每一张脸是正常的。众所周知，这些模型也会与不直接面对相机的人作斗争。

在上图中，绿色方块表示数据集中提供的每个人脸位置的标签。蓝色是模型的预测。对于这个特定的图像，模型表现良好，检测到所有三个人脸。

为了验证人脸检测，我查看了预测的中心，如果它在数据集中标记的正方形内，我认为预测是正确的。

该模型并不完美，它遗漏了大约 80% 的标记人脸。

该模型经过训练以仅检测正面人脸。在上图中，模型仅检测到 16 个人脸中的 4 个。尽管性能很好，我仍然会使用这个模型来检测人脸，但我自己的训练超出了范围。

为分类器准备数据

一旦我们在每张图像中找到了人脸位置，我就可以裁剪图像并单独保存每张脸。然后，在训练分类器之前，我可以重新缩放和重塑图像，使它们都保持一致。

def save_faces(df):
    #for each face in dataframe
    for index, face in df.iterrows():
        #open image
        filename = "./images/" + face["file"].split("\\")[1] + ".png"
        im = Image.open(filename)
        #crop image
        im = im.crop( face[["xmin", "ymin", "xmax", "ymax"]].values)
        #save image
        save_name = ".//processed//" + face["name"] + "//" + face["file"] + "_" + str(index) + ".png"
        im.save(save_name)

为了裁剪和保存每张脸，我使用上面的代码。可以使用在训练期间馈送到神经网络的数据生成器来完成整形和归一化。

上图是预处理的图表。我首先使用 CV2 模型来定位面部并裁剪它们。然后我将它们重新缩放到一个共同的大小。在此之后，我还将数据归一化以使神经网络更容易学习。

以上 9 张图像是分类器的示例输入。该模型将尝试将这些图像中的每一个分类为“面具”、“无面具”或“错误佩戴”。

分类面孔

处理完图像后，我们可以训练分类器来预测每张图像是否显示一个人正确、错误地或根本没有戴口罩。

在图像上训练分类器可能非常昂贵，尤其是要获得良好的性能。这就是我使用迁移学习的原因：

迁移学习

迁移学习包括采用预先训练的模型，并将其调整为我们自己的应用程序。迁移学习特别适用于图像数据模型。

用于图像分类的迁移学习最流行的模型是为 ImageNet 竞赛训练的模型。 ImageNet 是一项竞赛，大型公司训练超大型模型，将数百万张图像中的对象分类为 1000 个类别。

上图显示了模型的性能与其训练成本的关系。我希望在没有 GPU 的本地机器上训练这些，因此我选择了 ResNet-50（图像左上角为粉红色）。该模型实现了非常好的性能，并且训练效率很高。

ResNet-50 是一个真正庞大的模型。它包含超过 2300 万个参数。当它在 ImageNet 中竞争时，它被训练将图像分类为 1000 个类别，但是，我的分类问题只包含 3 个类别（Mask、No Mask、Incorrectly Worn mask）。所以我们必须调整模型以便能够在这个问题中使用它。

所以为了使这个模型适应我的应用程序，我删除了神经网络的最后一层，并添加了我自己的；这次输出大小为 3 而不是 1000（因为我想要 3 个类别）。然后我可以训练最后一层，而无需触及其他层中的任何权重。用 2300 万个参数训练整个模型会很昂贵，但是因为我只训练最后一层，所以这样做很便宜。

在上面的模型摘要中，您可以看到该模型有超过 2300 万个不可训练的参数（为 ImageNet 训练的参数）。我正在训练的唯一层是包含 6147 个参数的最后一层。

在这些深度神经网络中，大多数模型都试图在输入图像中找到重要特征，例如形状、纹理等。通过更改最后一层，我们使用所有这些信息，但只是更改最后一部分以使其对我们有用应用。

from tensorflow.python.keras.models import Sequential
from tensorflow.python.keras.layers import Dense
from tensorflow.keras.applications import ResNet50
from tensorflow import keras

model = Sequential()
model.add(ResNet50(include_top = False, pooling = RESNET50_POOLING_AVERAGE, weights='imagenet'))
model.add(Dense(NUM_CLASSES, activation = DENSE_LAYER_ACTIVATION))

#fix all model weights EXCEPT FOR THE FINAL LAYER (the one we want to train)
for i in model.layers[:-1]:
    i.trainable = False

#compile the model with your favourite optimizer, loss function and metrics 
model.compile(optimizer = "adam", loss = "categorical_crossentropy", metrics = "accuracy")

在上面的代码中，我使用 Keras 加载了预训练的 ResNet50。模型中唯一可训练的层是最后一层。然后我可以像训练任何其他神经网络一样训练模型。