基于opencv-mediapipe的手势识别

上一篇文章介绍了基于opencv的手势识别，如果大家运行了我的代码，会发现代码中找出手部轮廓的效果不是很理想。当时我在网上找寻解决的办法，刚好找到了mediapip库，然后我就利用opencv和mediapipe这两个库重新进行了手势识别的代码编写。效果还不错，写篇文章记录一下。

1.mediapipe简介

Mediapipe是google的一个开源项目，可以提供开源的、跨平台的常用机器学习(machine learning)方案。Mediapipe实际上是一个集成的机器学习视觉算法的工具库，包含了人脸检测、人脸关键点、手势识别、头像分割和姿态识别等各种模型。

由于我主要做的是手势识别，我就主要简单地讲解一下该库的手部检测模块，以便大家能更好的理解最后的手势识别的源代码。（如果大家想要了解其他模块，可以点击这里的进行了解：mediapipe官方简介

首先进行手部检测模块的初始化

mphand = mp.solutions.hands
hands = mphand.Hands()

如果不太理解上面的参数含义，没关系，直接默认就好。我认为只要知道max_num_hands和min_detection_confidence两个参数的含义就可以了

接着就是手势检测过程

hand = hands.process(img)

参数img是要进行检测的图片，由于opencv读入的图片为BGR模式，这里的img一定要转换为RGB模式

最后就是读取检测后的结果

 finger = []
    for handlms in hand.multi_hand_landmarks:
        for lm in handlms.landmark:
        	img_height,img_width,_ =  img.shape
        	#这里检测返回的x,y的坐标是基于原图像大小的比例坐标，
        	#所以要与原图像相乘得到真实的坐标
            x, y = int(lm.x * img_width), int(lm.y * img_height)
            finger.append([x, y])

如果打印一下finger列表，你就会看到21个坐标值。这21个坐标就是midiapipe基于人体手部21个关键点在原图像上位置坐标的检测。这21个坐标值对应的手部检测的关键点如下图：

2.手势识别思路

mediapipe的基本用法大家已经了解了，现在讲解思路以及关键技巧的讲解

思路讲解

首先使用opencv调用摄像头，从摄像头读取图像，将图像反转（摄像头读取的图像与现实中是相反的），并将图像转换为RGB模式。接着使用mediapipe进行手部检测，并用列表存储。然后利用手指构成的角度来判断手指是否弯曲。

关键点讲解

整个程序似乎是没有什么难度的，主要的关键就是如何检测手指是否弯曲。

我在书上看到利用手指尖端与手指根部相减，观察结果的正与负来判断手指弯曲。举个例子，上图中我用8坐标点y值减去6坐标点的y值（此处y值不理解的话，点击这里），若结果为正，则表示该手指弯曲，为负，表示手指伸张。
但是这里存在着两个问题：
第一，大拇指的弯曲与其余四个手指的弯曲是不同的（这里大家可以伸出自己的手观察一下，就可以理解），例如上图中我用4坐标和1坐标进行y值（此处y值同上）相减，但是并不是所有人大拇指弯曲的时候的4坐标的y值一定大于1坐标的y值，这时候就无法判断大拇指是否弯曲。
对于这个问题，我曾经想设置一个阈值来解决，但是需要不断的调试这个阈值的大小，并且每个人的手指大小不同可能这个阈值适合你，但不适合其他人。
第二，不知道大家发现没有上面的示例都是基于手部指尖朝上的情况，如果手部指尖朝下，朝左，朝右。这些情况怎么办？难道要多写一些判断条件，逐个分析。这样代码量很大，我不是很推荐。

引入角度来解决问题
引入三角函数，用手指构成的角度大小来进行判断
举个例子，这里我采用5，6，7坐标点为顶点来构成的三角形，这里我
以5，6坐标构成的边为a,
以6，7坐标构成的边为b,
以5，7坐标构成的边为c,
然后利用余弦函数来计算顶点6的角度，公式为:

然后设置一个阈值为155，来判断手指是否弯曲。

3.完整代码

这里我对代码进行了注释，帮助大家阅读程序

import cv2
import numpy
import mediapipe as mp
import math

#创建手部检测的对象
mphand = mp.solutions.hands
hands = mphand.Hands()
mpdraw = mp.solutions.drawing_utils

cap = cv2.VideoCapture(0)

while cap.isOpened():
	#对读取的图像进行反转，转换为RGB模式，读出图片大小
    ret,frame = cap.read()
    frame = cv2.flip(frame,1)
    img =cv2.cvtColor(frame,cv2.COLOR_BGR2RGB)
     h,w,_ = frame.shape
     
     #进行手部的检测
    hand = hands.process(img)
    
   #判断是否检测到了手部
    if hand.multi_hand_landmarks:
        count = 0	#统计手指的伸出个数
        for handlms in hand.multi_hand_landmarks:
            finger = []
            finger_point = []
            
            #这里我将每一根手指的四个坐标整合到一个列表中，大家可以打印finger，进行详细的查看
            for id,lm in enumerate(handlms.landmark):
                x,y = int(lm.x*w),int(lm.y*h)
                if id == 0:
                    pass
                elif id % 4 == 0:
                    finger_point.append([x,y])
                    finger.append(finger_point)
                    finger_point = []
                else:
                    finger_point.append([x,y])

			#遍历每一根手指列表，计算其构成的三角形的三边长，这里使用2，6，10，14，18所对应的角进行判断
            for id,point in enumerate(finger):
                a = math.hypot((point[0][0]-point[1][0]),(point[0][1]-point[1][1]))
                b = math.hypot((point[1][0]-point[2][0]),(point[1][1]-point[2][1]))
                c = math.hypot((point[0][0]-point[2][0]),(point[0][1]-point[2][1]))

              #在计算value值的时候，除数可能为零，以及当三点在一点直线上，都会抛出异常，所以要捕获异常
                try :   
                	value = (a**2+b**2-c**2)/(2*a*b)
                	#这里的value为弧度制，乘上57转换为角度制，当然你也可以选择直接使用弧度制
                    angle = math.acos(value)*57
                except ValueError:
                    angle = 180
                except ZeroDivisionError:
                    angle = 0
                print(angle)   
				
				#当角度大于155的时候记为手指伸出
                if angle >= 155:
                    count += 1
                else:
                    pass
                    
            #在手部绘制关键点位置
            mpdraw.draw_landmarks(frame,handlms,mphand.HAND_CONNECTIONS)
		
		#将手指检测的结果显示在图像上
        cv2.putText(frame,str(count),(int((1/9)*w),int((1/9)*h)),cv2.FONT_HERSHEY_COMPLEX,1,(0,255,0),1)
     
     #展示图片   
    cv2.imshow('img',frame)
    
    #按下Esc退出循环
    c = cv2.waitKey(25)
    if c == 27:
        break
cap.release()
cv2.destroyAllWindows()

4.结尾

使用mediapipe库来检测手部，这让我们可以通过手势来完成很多有意思的事情，比如通过手势来控制电脑鼠标，手势作画等。这些我也在尝试去做，等我完成之后会分享给大家思路，以及遇到的困难。
最后创作不易，希望大家支持，点赞。期待大家能和我一块交流学习，共同进步。