多目标跟踪

1. 目标跟踪分类

  1. 单目标跟踪:在视频的初始帧上对单个目标进行分帧,并在后续帧中预测目标的大小和位置
  2. 多目标跟踪:跟踪多个目标的大小和位置,每帧中目标的数量和位置可能不同

2. 多目标跟踪目前的主要问题

  1. 形态变化:
    姿态变化是目标跟踪中常见的干扰问题。当运动目标的位姿发生变化时,其特征和外观模型都会发生变化,容易导致跟踪失败。
  2. 尺度变化:
    尺度适应也是目标跟踪中的一个关键问题。当目标尺度减小时,由于跟踪框不能自适应跟踪,会包含很多背景信息,导致目标模型的更新误差:当目标尺度增大时,由于跟踪框不能完全包含目标,跟踪框架不完整的目标信息也会导致目标模型的更新出错。因此,实现尺度自适应跟踪是非常必要的。
  3. 遮挡和消失:
    目标可能在运动过程中被遮挡或短暂消失。发生这种情况时,跟踪帧很容易在跟踪帧中包含遮挡物和背景信息,这将导致后续帧中的跟踪目标漂移到遮挡物。如果目标被完全遮挡,由于找不到目标对应的模型,跟踪就会失败。
  4. 图像模糊:
    光照强度变化、快速移动的物体、低分辨率等都会导致图像模型,尤其是当移动物体与背景相似时。因此,有必要选择有效的特征来区分目标和背景。

3. 多目标跟踪概述

多目标追踪算法主要解决的问题是对视频中每一帧画面里我们标定或者想要 追踪的目标进行检测并获取在图像中的位置,对每个目标分配一个 id,在目标运动 过程中,维持每个目标的 id 保持不变。在多目标追踪问题中,目标追踪算法需要对视频中每帧图像里的所有目标进行检测,将检测到的新目标与已经分配轨迹的目标进行匹配,如果匹配成功,将归类于已有轨迹的目标中,对没有匹配成功的目标,将其归类为新出现的目标,需要分配一个新的 id,对于离开视频区域的目标, 将不再对其进行轨迹追踪,并在已有轨迹的集合中将其删除。

4. 多目标跟踪方法分类

目前,多目标追踪算法根据追踪开始时是否需要人工提取特征分为两类:人工手动标记第一帧的方式(Model Free Tracking, MFT)和基于目标检测的方式 ( Tracking By Detection TBD)
DFT的跟踪模式仅能跟踪已标记目标,而 DBT 的跟踪模式可以自动发现新的目标,移除已消失的目标,更适应如今多目标跟踪算法的应用场景。
多目标跟踪

5. 行人多目标跟踪方法研究进展

5.1 基于目标检测的多目标跟踪

基于目标检测的多目标跟踪可以分为在线跟踪(Online)与离线跟踪(Offline)。
由于行人跟踪一般基于多目标跟踪的实时监测,因此在线多目标跟踪算法更受学者关注。

5.1.1 在线多目标跟踪

在线多目标跟踪:是一种逐帧渐进式跟踪方法,类似于人眼实时跟踪目标的过程。首先,必须对每个运动目标进行识别和确认(目标检测),然后预测其下一步动作(轨迹)。预测),最后根据目标的运动方向(运动模型)、外观形状(外观模型)等特征与之前的轨迹进行关联(数据关联匹配)。

SORT

SORT 算法使用 Faster-RCNN 在视频序列中进行目标检测,获取目标,使用卡尔曼滤波(Kalman Filter)预测下一帧中目标的可能出现的位置信息,并采用的匈牙利算法(Hungarian method)求解每个检测到的新目标的边框与已有轨迹中的目标的所有预测边界框之间计算IOU的成本矩阵, 实现数据关联。该算法复杂度低,框架结构简单,运行速度快,虽然数据关联方面模型较为简单,易受遮挡,但为后续许优秀算法的提出做了铺垫。

DeepSORT

DeepSORT算法在 SORT 的基础上增加了级联匹配算法(Matching Cascade)、表示运动信息的马氏距离和代表外观模型的 Re-id 特征,一定程度上减少了目标 ID 的变化,实现了性能的提升,具有实际应用意义。相对 SORT 算法而言,DeepSORT 算法在 MOT16数据集私人检测器的性能表现上,MOTA 值提升幅度不大, 但 ID switch 频率降低了 45%,速度接近实时要求(20 FPS)。

5.1.2 离线多目标跟踪

离线多目标跟踪:输入是完整的视频,已经得到目标检测结果。与在线多目标跟踪算法的逐帧渐进法不同,离线多目标跟踪可以获取全局信息,然后进行匹配和关联。

POI 算法

POI 算法是一种离线多目标跟踪算法,结合了目标检测和基于深度学习的外观特征。基本思路 :在每一帧的输入上,用检测算法检测行人的位置,然后利用行人检测框的外观特征进行前后帧行人框的匹配,从而实现对行人的跟踪。

IOU 算法

IOU 算法是一种离线多目标追踪算法。该算法指出,随着目标检测算法精度的不断提高,当检测精度与视频帧率较高时,可以结合简单的目标检测算法与 IOU,再通过设定阈值来判断前景与背景即可完成目标跟踪任务。即在高帧率(25 FPS)、高精度的目标检测算法情况下,结合检测与时间步长间的空间重叠完成跟踪。该算法优缺点明显,但由于未引入任何帧间信息、运动模型、外观模型,漏检和错检问题难以解决,若出现频繁遮挡、目标形变的情况,会导致 ID频繁切换,且极其依赖目标检测算法的性能。

LMP算法

LMP[28算法的提出虽距今已有一段时间,但在 MOT16数据集上表现仍出色。该算法主要针对遮挡影响及行人重识别展开。LMP 算法提出一种新结构,结合深度网络中提取的整体表示特征和从最先进的姿态估计模型中抽取的身体姿态进行判断,从而提高准确率。主要创新点在于 :数据关联方面,LMP 算法是在最小代价多分割问题(MP)基础上改进的,将数据的关联匹配看作一种基于图的分解、聚类问题。通过设置一个基于边的目标函数来选择能最大化相同目标和不同目标概率的分量对,从而完成行人重识别的任务并改善遮挡影响,有效降低 IDs。经实验验证,LMP 算法在 2016 数据集私人检测器上性能名列前茅,MOTA 可达 71.0。

5.2 基于人工手动标记第一帧的方式的多目标跟踪

最初的目标跟踪算法主要是基于一些传统特征或传统数学模型,例如基于特征点的光流算法,对目标对象提取特征后,在下一帧图像中通过计算该目标特征的光流匹配点,统计分析后得到目标对象的位置。又例如基于概率密度分布的Meanshift 算法以及基于粒子分布统计的粒子滤波(Particle Filter,PL)。这些传统方法由于无法处理复杂的环境变化问题,其鲁棒性和准确性很快被近些年来提出的相关滤波方法(Correlation Filter,CF)以及深度学习方法所超越,但仍常作为重要的辅助方法用于实际工程技术当中。相关滤波方法是将电子通信领域中用于衡量两个信号之间相似度的相关滤波技术引入到目标跟踪领域,最初通过最小输出误差平方和滤波器(Minimum Output Sum of Squared Error Filter,MOSSE)实现。最近的,Danelljan 利用最优化方法降低了计算量,进一步提高了跟踪的速度。相关滤波方法由于其较高的计算速度以及较高的准确率,很好的满足了实际工程中所需要的实时性要求,吸引着大量的研究人员对其进行不断的改进。

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(1)
青葱年少的头像青葱年少普通用户
上一篇 2022年4月2日 下午1:13
下一篇 2022年4月2日 下午1:28

相关推荐