跨镜头跟踪(多源跟踪)方案
前言:
对于多个镜头下对于目标物体的持续跟踪,需要跨镜头跟踪算法来解决 譬如当目标从一个镜头切换到另一个镜头,会出现目标跟丢的情况。
本篇以2个相机拍摄的目标跟踪场景为例。考虑涉及两种场景:(1)两台相机存在重叠区域;(2)两台相机不存在重叠区域。
非重叠区域摄像机
如果两台相机不存在重叠区域,两台相机间同一目标的确定 需要使用重识别方法(例如deepsort方法),利用神经网络关注目标特征的提取。但存在例如相似的外观导致混淆模型,轨迹的开始和终止在MOT中是一个关键的任务,多个目标之间的交互,ID切换(同一目标在连续帧中识别为不同)。
技术点:目标检测和目标关联。(1)目标检测考虑目标的表观特征;(2)目标关联考虑目标的下一段时间内轨迹预测,有了预测才好在other camera 区域进行匹配。
含重叠区域摄像机
重叠视域多摄像头协同运动目标跟踪
1 首先获取目标对象在第一图像中的位置信息,判断该位置是否为重叠区域;
2 两相机源对应的重叠区域需存在一个位置关系映射模型(此模型可通过重叠区域在两个源中的像素位置关系求得,方法**** **** ****基于像素位置的对应,比如构建一个拟合模型,非线性对曲线进行拟合);
3 利用位置关系映射模型输出的目标对象分别在另一个相机源的对应位置;
4 两个源中位置同一或满足小于一定阈值,则认为是同一目标。
5 另:上述1-4描述相当于对应空间关系的约束进行目标匹配;当然,同时还需考虑时间关系对目标匹配原则的约束和优化。
上述1-4所述方法,没有采用对目标特征提取,减少了算力消耗。也可以采用对目标进行特征提取,目标检测获得以目标为中心点检测的检测框,并以此中心点输出该目标表观特征;基于所有目标表观特征对所有目标检测框进行关联匹配,以获得所有目标的跟踪轨迹。
对于多个视频中的每个目标的跟踪轨迹,挑选高质量的帧,然后利用训练好的深度神经网络分别提取目标表观特征和步态特征;之后对多种特征进行特征融合或者匹配;最后进行跨摄像头轨迹关联聚类。
ref
[1] https://zhuanlan.zhihu.com/p/137652129
[2] https://blog.csdn.net/wl1780852311/article/details/125912610
[3] https://github.com/damo-cv/TransReID
[4] https://xueshu.baidu.com/usercenter/paper/show
文章出处登录后可见!