OpenMV：19OpenMV4 Plus训练神经网络进行口罩识别

注意： 只有 OpenMV4 Plus可以自己训练神经网络，其他版本的性能不够

本节讲解如何使用edgeimpulse.com网站来自行训练神经网络模型，进而实现机器学习的功能

edgeimpulse.com是一个在线网站，是一个为嵌入式产品非常快速地生成嵌入式上面使用的神经网络的模型，非常地易用且快速，大概只需要5min左右就可以训练出一个OpenMV4 Plus上使用的模型

机器学习有什么用？ 利用机器学习我们可以知道OpenMV里面的图像是什么，比如图像里有没有人(进行人检测)，或者是知道我们图像里的人是否有戴口罩(进行口罩识别)，也可以利用机器学习来分辨一些其他物品和图片(是水杯还是矿泉水拼，电池还是烟头…)，可以分辨一切你想要的东西，但是前提是训练好一个合适的模型

看完了上述部分，那么我们到底该如何使用OpenMV来训练神经网络模型呢

采集： 我们需要利用OpenMV的IDE来采集我们的数据集，根据经验，每一个分类至少需要100张左右的数据集进行训练
上传： 将我们在OpenMV的IDE中采集到的图像上传到edgeimpulse的在线网站上
训练： 在edgeimpulse的网站上进行在线训练模型
下载： 将我们训练好的模型和生产的代码下载到OpenMV中，直接运行即可

以 “口罩识别” 为例

1.采集

打开OpenMV的IDE——>菜单栏——>工具——>数据集编辑器——>新数据集

新建一个文件夹并命名，再打开即可

在数据集编辑器中新建文件夹，我们新建两个文件夹并且分类

人戴口罩mask.class，存储100-200张戴口罩的人脸照片
人不戴口罩face.class，存储100-200张不戴口罩的人脸照片

2.连接

连接OpenMV
点击IDE中的连接
然后运行
点击OpenMV的左侧菜单栏中的”数据采集“按钮（按钮图标是个照片），点一下就会保存一张图片，会按顺序依次命名
我们可以保存多个角度，戴眼镜或不戴眼镜等多种照片
可以男女都采集一次，让男女都可以识别到，保证训练集的多样化
如果发现采集过程中人脸跑出了图像外，可以对该张图像右键——>删除
**采集图像时人物的背景最好是纯色的！**这样训练出的模型特征会比较明显，准确率会高一点

3.训练

将我们的数据集上传到edgeimpulse的网站上进行在线训练

4.下载

利用Deployment对训练好的模型进行导出
选择OpenMV——>Bulid，生成后会自动地下载下来
OpenMV：19OpenMV4 Plus训练神经网络进行口罩识别

下载后我们发现它生成了三个文件

trained.tfilite是我们生成的模型
labels.txt是我们的两个分类：face+mask
.py文件是我们在OpenMV上运行的代码

将三个文件拷贝到OpenMV内置的flash中
将.py文件在IDE中打开

代码分析

# Edge Impulse - OpenMV Image Classification Example

import sensor, image, time, os, tf # os是与文件相关的类     tf是用到神经网络的类 

# 设置感光元件
sensor.reset()                         # Reset and initialize the sensor.
sensor.set_pixformat(sensor.RGB565)    # Set pixel format to RGB565 (or GRAYSCALE)
sensor.set_framesize(sensor.QVGA)      # Set frame size to QVGA (320x240)
sensor.set_windowing((240, 240))       # Set 240x240 window.
sensor.skip_frames(time=2000)          # Let the camera adjust.

# 设置神经网络的模型——>这就是我们刚刚训练出的模型文件，已经保存到u盘中了
net = "trained.tflite"

# labels获取神经网络的标签 
labels = [line.rstrip('\n') for line in open("labels.txt")] 
    # line.rstrip('\n')表示如果遇到换行符"\n"，就把换行符从labels中删掉
    # 因为我们保存的labels文件中有换行符，因此得删掉

clock = time.clock()
while(True):
    clock.tick()

    img = sensor.snapshot()

    # 在采集到的照片中进行tf.classify()的分类
    for obj in tf.classify(net, img, min_scale=1.0, scale_mul=0.8, x_overlap=0.5, y_overlap=0.5):
            # tf.classify()会返回OpenMV视野中识别到的物体的列表
            # 返回obj.rect()是物体对应的框框  obj.output()是这个物体对应的每个标签的得分
            
        print("**********\nPredictions at [x=%d,y=%d,w=%d,h=%d]" % obj.rect())
        
        img.draw_rectangle(obj.rect())
        
        #我们可以打印每个标签的得分
        print(obj.output())
        
        # 将得分和标签一一对应，返回一个列表
        predictions_list = list(zip(labels, obj.output()))
                # zip()表示把标签labels和得分obj.output()一一对应
                    # 会打印出如[('face',0.9411765),('mask',0.0627451)]
        
        # 将得分输出
        for i in range(len(predictions_list)):
            print("%s = %f" % (predictions_list[i][0], predictions_list[i][1]))
            
            if predictions_list[0][1]>0.8:
                img.draw_string(0,0, 'face')
            else:
                img.draw_string(0,0, 'mask')
                              
    print(clock.fps(), "fps")

文章出处登录后可见！

已经登录？立即刷新

OpenMV：19OpenMV4 Plus训练神经网络进行口罩识别

文章目录

相关推荐