Road Mapping and Localization using Sparse Semantic Visual Features论文阅读

文章投稿

提出了一个提取、建模优化语义道路元素的视觉SLAM方法,结合深度学习模型提取语义。
①语义信息提取的深度学习模块;
②道路语义的参数化(用关键点对道路线和路标建模、用分段三次样条曲线参数化车道线)并用其设计了相关的loss function
③用这些信息建立了完整的SLAM系统;

提到语义SLAM相关的综述:
最常用的是基于关键点特征,效率和鲁棒性不够,无法应对光照变化,也不处理高概率消失(即高遮挡)
应对方法之一:利用语义信息建立持久的紧凑的地图,地图构成元素持久,稀疏且经常被观测,可以频繁查询(路标standardized traffic signs、车道线、灯杆等)

除特征点外的常见的高维元素:line、plane、box

系统框架

请添加图片描述
与使用类似框架的现有结果不同,作者使用了各种语义信息

框架分为离线语义图构建+在线定位、带批处理的紧耦合状态优化和滑动窗口策略;
语义实例分为三类:地面上的物体(路灯、路标)、地面元素(左转和右转标志)、线(车道线)

各部分功能

1.Selection of Road Features

选择作为语义标记的元素:
①道路上方的路灯和交通标志稳定,足以被前置摄像头捕捉到;
② 道路上醒目的标志占据了屏幕上大部分的道路信息,虽然大多是被遮挡的;
🌂实线和虚线,实线提供方向约束,虚线矩形块的角点标记为一系列点;
请添加图片描述
问题:还有其他有用的语义信息吗?

2.Detection of Road Features

两步检测模块:
①物体级检测获取道路上方和道路上的语义信息框,以及车道轮廓上的采样像素
②沿虚线检测虚线的拐角

为了减少前端的重复工作使用无锚检测方法CenterNet(an anchor free detection method CenterNet)

使用DLA-34和DCN module作为特征提取部分。后面这一部分没看懂,好像是设计不同的loss function得到各种具有不同意义的H,然后通过对H的聚类得到属于哪一类语义信息?
①Object boxes and keypoints:在CenterNet的基础基础上提出六个head用于检测这类语义;
②Lanes:Road Mapping and Localization using Sparse Semantic Visual Features论文阅读输出左右边界点和上下边界点,Road Mapping and Localization using Sparse Semantic Visual Features论文阅读是个左右边界点 or 上下边界点 or 都不是的三分类,Road Mapping and Localization using Sparse Semantic Visual Features论文阅读用于降低位置特征的维度,最后通过DBSCAN聚类;
🌂Dashed lane corners:给定64*64的图像检测角点练成线段表示虚线块,Road Mapping and Localization using Sparse Semantic Visual Features论文阅读计算角度上的differences,Road Mapping and Localization using Sparse Semantic Visual Features论文阅读计算长度上的differences;

3.Feature Tracking for Semantic Entities

对于地面上的标志和车道线等地面物体ground objects的追踪,相较于常见的追踪多了一个有趣的约束:
Road Mapping and Localization using Sparse Semantic Visual Features论文阅读表示特征点在某个平面上,其中:
Road Mapping and Localization using Sparse Semantic Visual Features论文阅读表示像素点反投影到世界坐标系的坐标
Road Mapping and Localization using Sparse Semantic Visual Features论文阅读表示一个世界坐标系下的平面,其物理意义为ground objects像素点所在的地面,对于Road Mapping and Localization using Sparse Semantic Visual Features论文阅读上面一点Road Mapping and Localization using Sparse Semantic Visual Features论文阅读有:
Road Mapping and Localization using Sparse Semantic Visual Features论文阅读 如何搭配:
使用Hungarian matching strategy,对像素进行物体级(instance-wise)和像素级(pixel-wise)的匹配
①instance-wise:在规则物体的多边形面上和车道线的5像素宽的折线上计算交集(像素点和面怎么做交集?用像素点所在的平面做?)
②pixel-wise:计算重投影误差[0]

对于垂直平面上的路灯等,使用光流法跟踪由GFTT extractor和FREAK descriptor提取的特征点来检测这类语义目标

4.Representation and Initialization of Road Lanes

控制点到模拟车道线
用一系列控制点构造的分段三次Catmull-Rom样条曲线(the piecewise cubic Catmull-Rom spline curves)表示车道线的左右轮廓。分段三次Catmull-Rom样条曲线就是用四个点Road Mapping and Localization using Sparse Semantic Visual Features论文阅读模拟一段由Road Mapping and Localization using Sparse Semantic Visual Features论文阅读Road Mapping and Localization using Sparse Semantic Visual Features论文阅读的曲线,其中Road Mapping and Localization using Sparse Semantic Visual Features论文阅读Road Mapping and Localization using Sparse Semantic Visual Features论文阅读控制曲线两端点的朝向,具体公式如下:
Road Mapping and Localization using Sparse Semantic Visual Features论文阅读 其中,Road Mapping and Localization using Sparse Semantic Visual Features论文阅读代表控制点之间曲线的弯曲程度,Road Mapping and Localization using Sparse Semantic Visual Features论文阅读代表从Road Mapping and Localization using Sparse Semantic Visual Features论文阅读Road Mapping and Localization using Sparse Semantic Visual Features论文阅读的某个中间位置。
由此,我们可以将Road Mapping and Localization using Sparse Semantic Visual Features论文阅读控制点分为Road Mapping and Localization using Sparse Semantic Visual Features论文阅读组,并用它们来描述通过Road Mapping and Localization using Sparse Semantic Visual Features论文阅读这些控制点的曲线,其方向由Road Mapping and Localization using Sparse Semantic Visual Features论文阅读Road Mapping and Localization using Sparse Semantic Visual Features论文阅读控制。

控制点的生成
首先使用3得到一系列车道线上的点组成的点集Road Mapping and Localization using Sparse Semantic Visual Features论文阅读,然后从中随机取N个样本点组成点集Road Mapping and Localization using Sparse Semantic Visual Features论文阅读,用这个点集构造样条曲线Road Mapping and Localization using Sparse Semantic Visual Features论文阅读模拟车道线,误差为:
Road Mapping and Localization using Sparse Semantic Visual Features论文阅读
①左项表示拟合曲线与观测曲线上各点的误差,其中Road Mapping and Localization using Sparse Semantic Visual Features论文阅读通过求解公式Road Mapping and Localization using Sparse Semantic Visual Features论文阅读得到;
②右边的item代表正则item,保证了控制点的均匀采样,即两个控制点的距离最好是差Road Mapping and Localization using Sparse Semantic Visual Features论文阅读
🌂with项用于初始化确定曲线初始方向的线外点Road Mapping and Localization using Sparse Semantic Visual Features论文阅读Road Mapping and Localization using Sparse Semantic Visual Features论文阅读表示Road Mapping and Localization using Sparse Semantic Visual Features论文阅读在以Road Mapping and Localization using Sparse Semantic Visual Features论文阅读为圆心,Road Mapping and Localization using Sparse Semantic Visual Features论文阅读为半径的球面上;第二个式子没有看懂;如果Road Mapping and Localization using Sparse Semantic Visual Features论文阅读有多个结果的话选择和Road Mapping and Localization using Sparse Semantic Visual Features论文阅读在反方向的;
④点Road Mapping and Localization using Sparse Semantic Visual Features论文阅读的确定与🌂类似;

生成车道线的步骤
①随机选择一个初始点;
②递归随机选取点两侧Road Mapping and Localization using Sparse Semantic Visual Features论文阅读内的点;
🌂为每个曲线生成最多500组点集,选取各个点集生成的候选曲线中误差项最小的那条

5.State Estimator Design

符号意义符号意义
a地面或垂直物体i物体a在c第几个像素,表示为Road Mapping and Localization using Sparse Semantic Visual Features论文阅读
b曲线k曲线b的第几个控制点,表示为Road Mapping and Localization using Sparse Semantic Visual Features论文阅读
c照片帧m曲线b在c的第几个采样点,表示为Road Mapping and Localization using Sparse Semantic Visual Features论文阅读
jRoad Mapping and Localization using Sparse Semantic Visual Features论文阅读n曲线b的角点,表示为Road Mapping and Localization using Sparse Semantic Visual Features论文阅读

提出5种优化变量
①关键点i在地面或者直立的物体a中的3D位置Road Mapping and Localization using Sparse Semantic Visual Features论文阅读
②3中提到的平面表示Road Mapping and Localization using Sparse Semantic Visual Features论文阅读
🌂直立物体在全局坐标系下的垂直平面表示为Road Mapping and Localization using Sparse Semantic Visual Features论文阅读,其中Road Mapping and Localization using Sparse Semantic Visual Features论文阅读,它相较于2少一个维度;
④曲线b的控制点Road Mapping and Localization using Sparse Semantic Visual Features论文阅读
⑤曲线b上被帧c观测的像素点Road Mapping and Localization using Sparse Semantic Visual Features论文阅读相关的一个动态参数Road Mapping and Localization using Sparse Semantic Visual Features论文阅读,表示曲线上哪个地方(上面有提到),其作用为确保曲线投影的正确性;

五个变量和原始相机位姿Road Mapping and Localization using Sparse Semantic Visual Features论文阅读构成三个约束:
请添加图片描述

①Points observation factors:常规的重投影误差
Road Mapping and Localization using Sparse Semantic Visual Features论文阅读②Spline observation factors:曲线观测误差,即曲线上的边沿的点和角点Road Mapping and Localization using Sparse Semantic Visual Features论文阅读的投影误差
Road Mapping and Localization using Sparse Semantic Visual Features论文阅读🌂Coplanar prior factors:平面先验残差,Road Mapping and Localization using Sparse Semantic Visual Features论文阅读为水平平面,Road Mapping and Localization using Sparse Semantic Visual Features论文阅读为竖直平面,点在平面上的话残差项应该为0
Road Mapping and Localization using Sparse Semantic Visual Features论文阅读 公式中的三个Road Mapping and Localization using Sparse Semantic Visual Features论文阅读力的具体含义和具体用法不清楚。

状态估计步骤
①初始化优化变量(这里的理解不一定正确,要对比代码):
1)用GNSS-VIO轨迹中恢复的位姿三角化特征点;
2)将三角化后的地面点转化到观测帧,做3D平面拟合;
3)用已有点对垂直语义对象做2D曲线拟合,得到Road Mapping and Localization using Sparse Semantic Visual Features论文阅读,然后用于对检测的2D box中的特征点的检测;
4)有了2)后用3计算车道线;
5)求解样条4)的过程中将求解得到的3D association parameter分配给Road Mapping and Localization using Sparse Semantic Visual Features论文阅读,然后使用独立的非线性优化refine。(后续具体描述没有看懂)
②离线映射:
所有变量都初始化后,用推导的视觉惯导里程计因子图优化,所有的关键帧和检测到的优化变量参与最终的BA优化
🌂在线定位:固定上面①和②式子中的语义要素(语义上的3D点和样条曲线的控制点等),以此来对定位增加约束,实现语义信息在定位中的使用。因为③式是用构建语义时的共面约束,在定位时不再使用。

6.Re-Identification and Feature Merging

Re-Identification:使用3D到3D的语义关联而不是词袋,因为这类信息是稀疏的且在外观上难以辨别。将质心小于5m的三角化物体认为是用一个物体并使用Hungarian strategy合并。对于伴随的GFTT点,使用FREAK描述子在多帧间投票,使用union-find algorithm合并再进行全局状态优化

7.Data Structure of Semantic Maps

语义地图Road Mapping and Localization using Sparse Semantic Visual Features论文阅读=set(观测帧Road Mapping and Localization using Sparse Semantic Visual Features论文阅读,语义路标Road Mapping and Localization using Sparse Semantic Visual Features论文阅读,共视图Road Mapping and Localization using Sparse Semantic Visual Features论文阅读(连接Road Mapping and Localization using Sparse Semantic Visual Features论文阅读Road Mapping and Localization using Sparse Semantic Visual Features论文阅读));
观测Road Mapping and Localization using Sparse Semantic Visual Features论文阅读保存全局位姿Road Mapping and Localization using Sparse Semantic Visual Features论文阅读和GNSS测量值;
垂直的语义路标保存语义信息、点的3D位置
不要存储描述符

8.Localization Based on Semantic Maps请添加图片描述

四个阶段
①map uninitialized:地图到当前位姿的转换为止Road Mapping and Localization using Sparse Semantic Visual Features论文阅读,用GPS得到一小段距离(小于30m)的粗略位置信息,得到观测帧Road Mapping and Localization using Sparse Semantic Visual Features论文阅读,并转入②阶段;
②local search:获得标签Road Mapping and Localization using Sparse Semantic Visual Features论文阅读,建立2D-3D的PnP-Ransac,初始化Road Mapping and Localization using Sparse Semantic Visual Features论文阅读并转入🌂④阶段;
🌂④loose tracking和tight tracking:两个tracking阶段设定的阈值不同,都往滑动窗口添加reconstructed associations,并用5中的①和②优化,初始位姿Road Mapping and Localization using Sparse Semantic Visual Features论文阅读转化为Road Mapping and Localization using Sparse Semantic Visual Features论文阅读Road Mapping and Localization using Sparse Semantic Visual Features论文阅读两个变量来优化。将所有map 元素投影到当前帧,用一个准则确定投影关系
Road Mapping and Localization using Sparse Semantic Visual Features论文阅读阈值Road Mapping and Localization using Sparse Semantic Visual Features论文阅读在loose和tight中对deep特征点和classical 特征点的对应值是不同的

question

1、1Hz的在线定位有啥用?
2、怎么区分两个长得相似的语义信息?
3、还有什么可能有用的语义信息?
4、车道采样像素怎么得到?
5、这个网络的选定是怎么让低级别的特征提取分离出来的?
6、网络设计部分再讲什么?
7、只考虑跟踪语义对象吗?
8、文章中提的路灯是有转角的,即倒着的L型,那纯竖着的I型路灯呢?
9、deep and classical keypoints是什么?

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
心中带点小风骚的头像心中带点小风骚普通用户
上一篇 2022年5月8日
下一篇 2022年5月8日

相关推荐