Yolov5+dnn+卡尔曼滤波（Kalman）实现目标跟踪及预测

Yolov5+dnn+卡尔曼滤波（Kalman）实现目标跟踪及预测

环境配置

1.ubuntu20
2.opencv+opencv_contrib

场景应用及流程说明

在导航、检测短暂丢失目标时，利用kalman算法对目标移动轨迹做一个简单的预测。
通常目标跟踪是由检测器+跟踪器作为基本配置，目前常用的检测器通常为yolo系列或者faster rcnn等通用目标检测器。跟踪器用的比较多的是deepsort。但是deepsort实验时，分配ID比较乱，这次采用kalman。

配置yolov5的dnn模块

本篇参考我的其他博客
配置opencv
yolov5 dnn模块部署

代码说明

self.net = cv2.dnn.readNet(yolo_type + '.onnx')
self.net.setPreferableBackend(cv2.dnn.DNN_BACKEND_CUDA)
self.net.setPreferableTarget(cv2.dnn.DNN_TARGET_CUDA)

dnn模块进行cuda加速

#初始化yolo模型
    yolonet = yolov5(args.net_type, confThreshold=args.confThreshold, nmsThreshold=args.nmsThreshold, objThreshold=args.objThreshold)

    # Load Kalman filter to predict the trajectory
    kf = KalmanFilter()

初始化yolov5模型，以及加载kalman滤波算法

#cap = cv2.VideoCapture(0)  # 读取摄像头
    cap = cv2.VideoCapture("test2.mp4")  #读取视频文件

    while(True):
        ret, frame = cap.read()
        if ret is False:
            break

        if ret:
            dets = yolonet.detect(frame)
            frame,box_center = yolonet.postprocess(frame, dets)
            #cv2.imwrite("yolo1111.jpg",frame)

读取图像以及利用opencv的dnn模块进行yolov5目标检测，返回检测结果的中心位置。

for box in box_center:

                cx = int(box[0])
                cy = int(box[1])

                predicted = kf.predict(cx, cy)
                #cv2.rectangle(frame, (x, y), (x2, y2), (255, 0, 0), 4)
                cv2.circle(frame, (cx, cy), 20, (0, 0, 255), 4)
                #cv2.circle(frame, (predicted[0], predicted[1]), 20, (255, 0, 0), 4)
            
            
                for i in range(3):
                  predicted = kf.predict(predicted[0], predicted[1])
                  cv2.circle(frame, predicted, 10, (255, 0, 0), 4)

将结果送入kalman滤波器，并进行预测，本次代码中进行了三次预测。

达到效果

整个目标以类似的抛物线向上移动，红色圆圈是检测目标的中心，三个蓝色圆圈是三个预测的结果。

完整代码：https://download.csdn.net/download/weixin_41868104/84979158