1.概述

该文章介绍OpenCV-Python中关于视频分析的两个主要内容，分别为：

• 🐟背景差分法移动物体检测
• 🐟Meanshift和Camshift算法物体追踪

PS：视频分析还要一个重要的内容：光流法运动轨迹绘制，在以后的文章中介绍。

2.原理介绍

2.1背景差分法移动物体检测

静态摄像机拍摄的画面，大部分场景是没有变化的，并且这部分一般不需要被特别关注。与此对应的视频中的动态物体更值得关注和分析。

背景差分法原理上非常简单，就是将当前的画面与背景做减法，减去没有变化的背景，留下场景中变化的物体（一般是运动的），借用官网的一张图片便于理解。

因此该算法较为关键的一部分就是背景图片的构建，它包含两部分，分别为①初始化背景，②背景更新。但是这两步在OpenCV-Python中都不需要自己书写代码，createBackgroundSubtractor()就可以生成相关算法的对象，下面两句是在不同算法下的背景蒙版分别为MOG2和KNN，他们用法相同，使用apply()方法逐帧输入图片即可，从结果来看，KNN效果要更好一点。

#下面两行二选一
#backSub = cv.createBackgroundSubtractorMOG2()
backSub = cv.createBackgroundSubtractorKNN()
fgMask = backSub.apply(frame)

提取背景蒙版之后，使用简单的代码就可以完成目标的提取也就是：

Deobject=cv.add(frame,frame,mask=fgMask)

相关步骤显示效果如：

2.2Meanshift和Camshift算法对物体追踪

Meanshift可以翻译为均值偏移，Camshift全称为Continuously Apative Mean-Shift，是Meanshift改进。

首先介绍Meanshift，它实际上是以要追踪物体的直方图作为参照，在每个图形的下一帧，搜索物体附近区域，如果找到与该物体直方图相似度很大的区域，就把他判定为该物体继续追踪。因此在该算法中，需要经过一下几个步骤。如下图：

• 在第一帧中选定要追踪物体的区域
• 将色彩转化为HSV，然后生成直方图
• 在下一帧中找到与当前直方图相似的区域，将该区域划定为要追踪的物体。这一步用到了cv.CamShift(probImage, window, criteria），它的三个参数分别为直方图反投影、物体所在窗口，算法停止标准
• 继续下一帧搜索追踪。

下面介绍Camshift，它主要解决了Meanshift的一个问题，就是Meanshift的窗口大小是固定的，由于视频的物体都有近大远小的特点，因此如果物体在镜头前后移动，算法识别准确率不高，Camshift考虑到了这一问题，它会在Meanshift匹配率低的时候，对窗口大小进行调整，详细步骤在代码中介绍。

效果对比：

3.代码分析

环境配置见文章OpenCv-Python图像特征识别_Matrix_CS的博客-CSDN博客

3.1背景差分法移动物体检测

该方法使用Open-CV中的BackgroundSubtractor，自动进行背景生成和背景更新，最后使用背景蒙版和原始图像做运算，将运动物体提取出来。

from __future__ import print_function
import cv2 as cv
import argparse

'''
该代码尝试使用背景差分法，完成了固定摄像头中，动态物体的提取。
'''
#有两种算法可选，KNN和MOG2，下面的代码使用KNN作为尝试
algo='KNN'
if algo == 'MOG2':
    backSub = cv.createBackgroundSubtractorMOG2()
else:
    backSub = cv.createBackgroundSubtractorKNN()
#打开一个视频文件
capture = cv.VideoCapture(cv.samples.findFileOrKeep('vtest.avi'))
#判断视频是否读取成功
if not capture.isOpened():
    print('Unable to open')
    exit(0)
#逐帧读取视频，进行相关分析
while True:
    #读取视频的第一帧
    ret, frame = capture.read()
    if frame is None:
        break
    #使用定义的backSub对象，输入新的一帧frame，生成背景蒙版
    fgMask = backSub.apply(frame)
    #将原视频的当前帧和蒙版做相加运算，将前景物体提取出来
    Object=cv.add(frame,frame,mask=fgMask)
    #展示视频中的物体，三个窗口分别表示原视频、背景、移动目标
    cv.imshow('Frame', frame)
    cv.imshow('FG Mask', fgMask)
    cv.imshow('Object',Object)
    #每帧展示结束，等待30毫秒
    keyboard = cv.waitKey(30)
    #按q推出程序
    if keyboard == 'q' or keyboard == 27:
        break

3.2 Meanshif算法对物体追踪

使用Meanshif算法对物体进行追踪，根据要追踪物体的直方图特征，查询运动物体周围图像，进行匹配，返回移动后的物体位置。

import numpy as np
import cv2 as cv
import argparse
'''
使用Meanshift算法，对视频中的指定物体进行追踪
'''

cap = cv.VideoCapture('slow_traffic_small.mp4')
#对显示窗口命名
cv.namedWindow('image')
#读取视频第一帧
ret,frame = cap.read()
#定义一个范围作为要追踪的物体，在这选取的是一辆车
x, y, w, h = 306, 194, 80, 40
track_window = (x, y, w, h)
# 从第一帧frame中，把范围中的图片提取出来
roi = frame[y:y+h, x:x+w]
# 转化为hsv颜色，因为画直方图一般会用这个色彩格式
hsv_roi =  cv.cvtColor(roi, cv.COLOR_BGR2HSV)
#生成一个蒙版，把不在范围内的颜色筛去
mask = cv.inRange(hsv_roi, np.array((0., 60.,32.)), np.array((180.,255.,255.)))
#生成直方图
roi_hist = cv.calcHist([hsv_roi],[0],mask,[180],[0,180])
#进行直方图归一化
cv.normalize(roi_hist,roi_hist,0,255,cv.NORM_MINMAX)
# 设置终止标准，10 次迭代或移动至少 1 像素
term_crit = ( cv.TERM_CRITERIA_EPS | cv.TERM_CRITERIA_COUNT, 10, 1 )
while(1):
    #读取视频下一帧
    ret, frame = cap.read()
    #ret用来判断视频是否读取成功
    if ret == True:
        #保持跟上面一致的色彩格式hsv
        hsv = cv.cvtColor(frame, cv.COLOR_BGR2HSV)
        #这一步计算hist的反投影，是为了下面作为输入便于读取
        dst = cv.calcBackProject([hsv],[0],roi_hist,[0,180],1)
        # 使用meanShift找到匹配的窗口
        ret, track_window = cv.meanShift(dst, track_window, term_crit)
        #下面的代码就是用一个矩形框把识别到的物体圈出来
        x,y,w,h = track_window
        img2 = cv.rectangle(frame, (x,y), (x+w,y+h), 255,2)
        cv.imshow('image',img2)
        #等待30毫秒，按ESC退出
        k = cv.waitKey(30) & 0xff
        if k == 27:
            break
    else:
        break

3.3 Camshift算法对物体追踪

该方法是对Meanshif算法的改进，窗口大小可以根据物体移动进行调整，代码和Meanshif算法十分类似。

import numpy as np
import cv2 as cv
import argparse
'''
使用CamShift算法跟踪物体，该算法改进了MeanShift，它的窗口大小会进行自定义调整
'''
#打开视频
cap = cv.VideoCapture('slow_traffic_small.mp4')
#读取视频第一帧
ret,frame = cap.read()
#定义一个范围作为要追踪的物体，在这选取的是一辆车
x, y, w, h = 306, 194, 80, 40 # simply hardcoded the values
track_window = (x, y, w, h)
# 从第一帧frame中，把范围中的图片提取出来
roi = frame[y:y+h, x:x+w]
# 转化为hsv颜色，因为画直方图一般会用这个色彩格式
hsv_roi =  cv.cvtColor(roi, cv.COLOR_BGR2HSV)
#生成一个蒙版，把不在范围内的颜色筛去
mask = cv.inRange(hsv_roi, np.array((0., 60.,32.)), np.array((180.,255.,255.)))
#生成直方图
roi_hist = cv.calcHist([hsv_roi],[0],mask,[180],[0,180])
#进行直方图归一化
cv.normalize(roi_hist,roi_hist,0,255,cv.NORM_MINMAX)
# 设置终止标准，10 次迭代或移动至少 1 像素
term_crit = ( cv.TERM_CRITERIA_EPS | cv.TERM_CRITERIA_COUNT, 10, 1 )
while(1):
    #读取视频下一帧
    ret, frame = cap.read()
    #ret用来判断视频是否读取成功
    if ret == True:
        # 保持跟上面一致的色彩格式hsv
        hsv = cv.cvtColor(frame, cv.COLOR_BGR2HSV)
        # 这一步计算hist的反投影，是为了下面作为输入便于读取
        dst = cv.calcBackProject([hsv],[0],roi_hist,[0,180],1)
        # 使用CamShift找到匹配的窗口
        ret, track_window = cv.CamShift(dst, track_window, term_crit)
        #下面的代码就是用一个四边形把识别到的物体框出来
        pts = cv.boxPoints(ret)
        pts = np.int0(pts)
        img2 = cv.polylines(frame,[pts],True, 255,2)
        cv.imshow('img2',img2)
        k = cv.waitKey(30) & 0xff
        # 等待30毫秒，按ESC退出
        if k == 27:
            break
    else:
        break