图像配准基础
入门知识、背景
点云
点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）
点云图像是最基础也是最常见的三维图像
点云的分类
根据激光测量原理得到的点云，包括三维坐标（XYZ）和激光反射强度（Intensity）。强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。
根据摄影测量原理得到的点云，包括三维坐标（XYZ）和颜色信息（RGB）。
也可以两者结合
点云的获取
RGBD设备（深度摄像机）
PrimeSense公司的PrimeSensor、微软的Kinect、华硕的XTionPRO。
点云的属性
空间分辨率、点位精度、表面法向量等
点云的存储格式
.pts; .asc ; *.dat; .stl ; [1] .imw；.xyz；.las。
点云的数据类型
1）pcl::PointCloudpcl::PointXYZ
PointXYZ 成员：float x，y，z;表示了xyz3D信息
2）pcl::PointCloudpcl::PointXYZI
PointXYZI成员：float x, y, z, intensity; 表示XYZ信息加上强度信息的类型
3）pcl::PointCloudpcl::PointXYZRGB
PointXYZRGB 成员：float x,y,z,rgb; 表示XYZ信息加上RGB信息，RGB存储为一个float
4）pcl::PointCloudpcl::PointXYZRGBA
PointXYZRGBA 成员：float x , y, z; uint32_t rgba; 表示XYZ信息加上RGBA信息，RGBA用32bit的int型存储的。
5）PointXY 成员：float x,y;简单的二维x-y点结构
6）Normal结构体：表示给定点所在样本曲面上的法线方向，以及对应曲率的测量值
三维图像
相比较于常见的二维图像，其最大的特征是表达了空间中三个维度（长度宽度和深度）的数据
表现形式：
深度图（以灰度表达物体与相机的距离）
几何模型（由CAD软件建立）
点云模型（所有逆向工程设备都将物体采样成点云）
点云处理的三个层次
点云数据处理：
https://www.cnblogs.com/yhlx125/p/4952522.html
https://blog.csdn.net/pdw521/article/details/82492428
图像处理分成三个层次
低层次：图像强化，滤波，关键点/边缘检测等
中层次：连通域标记（label），图像分割等
高层次：物体识别，场景分析等
PCL官方的点云处理：
低层次：
①滤波方法：双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致性滤波。
②关键点：ISS3D、Harris3D、NARF，SIFT3D
中层次：
①特征描述：法线和曲率的计算、特征值分析、SHOT、PFH、FPFH、3D Shape Context、Spin Image
②分割与分类：
分割：区域生长、Ransac线面提取、全局优化平面提取、K-Means、Normalize Cut（Context based）、3D Hough Transform(线、面提取)、连通分析
分类：基于点的分类，基于分割的分类，基于深度学习的分类（PointNet，OctNet）
高层次：
①配准
粗配准、精配准
粗配准是指在点云相对位姿完全未知的情况下对点云进行配准，可以为精配准提供良好的初始值。
当前较为普遍的点云自动粗配准算法包括基于穷举搜索的配准算法和基于特征匹配的配准算法。
基于穷举搜索的配准算法：
遍历整个变换空间以选取使误差函数最小化的变换关系或者列举出使最多点对满足的变换关系。如RANSAC配准算法、四点一致集配准算法（4-Point Congruent Set, 4PCS）、Super4PCS算法等……
基于特征匹配的配准算法：
通过被测物体本身所具备的形态特性构建点云间的匹配对应，然后采用相关算法对变换关系进行估计。如基于点FPFH特征的SAC-IA、FGR等算法、基于点SHOT特征的AO算法以及基于线特征的ICL等…
精配准的目的是在粗配准的基础上让点云之间的空间位置差别最小化。应用最为广泛的精配准算法应该是ICP以及ICP的各种变种（稳健ICP、point to plane ICP、Point to line ICP、MBICP、GICP、NICP）。
②SLAM图优化：Ceres（Google的最小二乘优化库，很强大）， g2o、LUM、ELCH、Toro、SPA
SLAM方法：ICP、MBICP、IDC、likehood Field、NDT
③三维重建
④点云数据管理：点云压缩，点云索引（KD、Octree），点云LOD（金字塔），海量点云的渲染。
概念
图像配准：一个场景的不同图片转换到相同的坐标系中。
目的：空间中同一位置的点一一对应起来，进行信息融合
不同图片拍摄形成的原因：
不同的时间拍摄：找到和评价，连续获得的图像之间场景的改变。应用：运动追踪
不同的传感器拍摄：整个不同来源的信息，获得更复杂、更细节的场景表示。应用：获得更好的图片
不同的视角拍摄：获得更大的2D视图，或扫描场景的3D表示。应用：3D恢复
不同图像之间的空间关系：
硬性转变（rigid）：平移、旋转
仿射（affine）：大小改变、扭转
同型异义（ homography）
复杂的大的变形（Large Deformation Model）
步骤
1）特征检测：
检测显著和独特的对象（闭合边界区域、边缘、轮廓、交线、角点等）
这些特征可以通过点来表示，这些点称为控制点CP
2）特征匹配：
建立场景图像（Sense Image）和参考图像（Reference Image）特征之间的相关性。
使用特征描述符（descriptor）对特征进行描述。
使用相似性度量、特征的空间相关性。
3）转换模型估计：
估计：将 SenseImage 和 ReferenceImage对齐的 映射函数的类型和参数。
参数通过特征相关性计算。
4）图像重采样、图像转换
使用映射函数，转换SenseImage。
使用合适的插值技术，计算非整数坐标的图像值。
1）上：特征检测
2）中：特征匹配、特征描述
3）左下：利用建立的相关性 **估计 **转换模型
4）右下：用合适的插值技术，进行重采样和转换
分类
按照图片不同
按照处理方法不同
（1）基于待配准图像 灰度信息 的配准方法
以整幅图像的灰度信息为依据，建立待配准图像和基准参考图像之间的相似性度量
利用某种搜索算法，寻找出使得相似度量达到最优值的变换模型参数。
也称之为直接配准法；
（2）基于待配准图像 变换域内信息 的配准方法
通常是利用傅里叶变换为基础，进行频域内的配准。
傅里叶变换能够用于具有平移、旋转、缩放的图像配准中是因为
（a）对于两幅具有平移量的图像经过傅里叶变换后，他们的相位关系是不同的，因为在时域内平移量直接决定在傅里叶变换域内的相位关系；
（b)对于两幅具有旋转量的图像，在傅里叶变换域内的旋转量保持不变；
（c)对于两幅具有尺度缩放的图像，先进行坐标系转换，变换到对数坐标系当中，图像的缩放可以转换成图像平移进行处理。
（3）基于待配准图像 特征信息 的配准方法
基于特征的配准方法是目前最常用的配准方法之一.
该算法只需要提取待配准图像中的点、线、边缘等特征信息，不需要其它辅助信息，
在减少计算量、提高效率的同时，能够对图像灰度的变化有一定的鲁棒性。
但是，由于该算法只采用了图像一小部分的特征信息，所以这种算法对特征提取和特征匹配的精度及准确性要求非常高，对错误非常敏感。
根据选取的特征信息的不同，把基于特征的图像配准方法划分为三类
（a）基于特征点的匹配
一般所选取的特征点是相对于其领域表现出来具有某种奇异性的像素点。
特征点往往容易被提取到，但是特征点所包含的信息相对较少，只能反映出其在图像中的位置坐标信息，所以在两幅图像中寻找匹配的特征点是关键所在。
（b）基于特征区域的匹配
在图像中寻找某些明显的区域信息作为特征区域，
然而在实际应用中寻找到特征区域后，采用最多的还是区域的形心点，所以这类算法要求特征区域提取的精度非常高。
（c）基于特征边缘的匹配
图像中最明显的特征就是边缘，而边缘特征也是最好提取的特征之一。
因此给予边缘的匹配方法鲁棒性较强，适用范围很广，但这类方法对特征边缘的提取要求很高，并且要求边缘信息全部用数学语言予以表述也较为困难。
文章出处登录后可见！
