RGB彩色图、Depth深度图

💦彩色图，深度图——》信息缺乏。如，颜色相近导致位置信息丢失

💦深度图——》相近深度的物体，因为颜色或纹理的丢失，导致难区分
深度图并不可以直接使用， 因为深度图只能反映出了物体在三维空间中一个方向上的信息，即拍摄场景中各个点到相机的距离。这个信息并不全面，直接使用会丢失其余两个维度的信息。 

💦彩色图和深度图，采集的是同一个场景，反应的是不同方面的特性。具有强相关性。

彩图和深度图的边界具有尖锐的信息变化。

仅依靠彩图可对边界进行区分：深度信息变化扮演补充信息和加强边界的角色。

红框：依靠彩图就可以区分前景与背景

篮框：前景与背景颜色相似，边缘颜色相近。仅利用颜色分割效果不理想。利用深度信息，深度差异可以弥补彩色信息的不足。

仅利用彩色信息做过分割面临同样的困境，比如Turbopixel、Ncut、SLIC等，很难对颜色相近的物体进行区分。————促使我们联合彩色信息和深度信息进行分割

深度图，不可直接用，需要将深度图的单维深度信息转化为空间的三维位置信息。

首要工作：深度信息转换为三维信息，然后利用具体位置来设计分割算法。

物体在世界坐标系中都会存在着各自的三维坐标，这个三维坐标代表了物体在空间中的位置，是绝对且唯一的。

深度相机采集深度图，通过相机内参矩阵，可以将图中每一个像素的位置对应到世界坐标系中，也就是，通过内参矩阵的变化，实现二维到三维空间的映射。

假设：空间坐标系、相机坐标系——》方向一致；        已知相机内参

(x,y) 来表示图像中一个像素的位置信息

d 来表示该像素点对应的深度信息

( X,Y,Z) 来表示该像素点的三维坐标————》通过这样的转换，我们就可以获得图像中每一个像素点在空间坐标系中对应的三维坐标。

fx 和  fy分别是 x 轴和 y 轴方向的焦距

γ 是这两个坐标轴之间的斜率

(x0,y0 )是相机的基准点位置坐标

聚类实现的空间=彩色信息+位置信息 共同组合的空间中实现的

基本维度=彩色空间3个维度+位置空间3个维度=6个维度

但是，由于深度图在边界位置具有离散特性+最终图像是在二维空间展示，所以加入图像二维坐标（x，y）到距离度量中（为了保证视觉上二维分割结果的连贯性）。

综上，距离度量实质是Lab–XYZ–xy  总共8个维度的度量空间。

分析：
lab：是像素在 CIELAB 彩色空间中的彩色矢量。这个空间有更 为宽广的颜色取值，因而不同颜色的离散程度更高，有利于衡量不同颜色之间的距离

XYZ:像素在重建三维空间中的坐标

xy：像素在图像中的坐标

————

描述这八个维度的参数实质代表的是不同性质的信息，因而不可以 直接用八维空间的欧式距离来度量像素间的距离

将[ Lab] ，[XYZ ] 和[xy ] 分别归一化到[0,1]之间使得不同分量之间的差异有相同的衡量区间

————

原因：深度传感器不完善，导致相邻深度层之间转变不是完美阶跃，而是有一种渐变的过渡段。
导致：二维到三维映射过程中，相邻物体边界处会产生一些离散的过渡点；过渡点对分割产生干扰
结果：边界参差不齐
解决：引入了像素在图像位置中 的二维距离dxy，通过二维图像位置的约束，来弱化这些带噪的三维空间点带来 的不良效果，使得分割结果看起来更为整洁

步骤：
1.利用图像计算每一个对应点的三维坐标
2.权重参数α 和 β（8维空间的距离计算做准备
3.过分割初始化——图像分割为 M 个不重叠的规整超像素块（每块一个种子，相邻间隔为s
4.重新划分区域——2s*2s扫描区域内（因此一个像素可能在多个种子的扫描区域内），计算该像素点到所有 能扫描到该像素的种子之间的距离，选择最小的一个种子作为该像素的种子，将 其归并到对应的超像素中（所有像素扫描、计算结束后，所有像素完成了一次新的分类，每个超像素有了新的对象）
5.更新种子信息——计算、分类，迭代，收敛
6.检查有效性——去除无效的超像素，比如说超像素过小，并将其归并到相邻超像素中

————

本文的方法由于联合了彩色信息和深度信息，可以利用空间位置上的 不同，来对颜色相近的物体进行区分，从而得到几何加强的超像素

图 ：K-means，Turbopoxel，SLIC、Ours

💦精确度：是用来衡量测试边界对于真实边界的命中程度
precision =Nh/NG

【NG 表示真值图中的边界像素点总个数。人工分割边界作为真值图。也就是图中红色像素的总数。】

【对真值图中每一个边界点所在位置的3  ×  3临域进行检查，查看分割测试图中相应位置是否有检测到边界的像素，若有则记 该像素命中，否则则未命中。当遍历真值图中所有边界像素之后，得到命中像素 的总数，记为 Nh 。】

——————————

💦准确度：用来计算准确的超像素所占总超像素个数的百分比。

准确的超像素， 指的是超像素中大于95%的像素都位于分割边界的同一边，即只有少于5%的像 素点越过了真值的分割边界

accuracy =Nc/Nl

【Nc 表示准确的超像素中总的像素数，NI 表示整 幅图的像素个数】

精确度和准确度分别描述的是超像素分割是否准确的不同方面

表明通过本文过分割方法产生的超像素更具有语义连贯性，通过 RGB-D 数 据的联合使用，更加完善了过分割算法，也为后续的处理和应用提供了更为可靠 的中间结果

精确度低的情况：深度图像过于平坦。不仅不能有助于彩色图的分割，反而因为加权的作用，会降低彩色图的差异带来的影响。

可以看出本文方法具有一定的优势，尤 其是在处理彩色信息相近但深度图分布离散的图像，有明显的分割结果改善。这 是由于本文ᨀ出的算法加入了三维几何空间的信息，通过增加信息量来更全面的 评估每个像素的特性，ᨀ升了对物体边界的识别能力，此外，我们还考虑到深度 图在物体边界处的不准确性，那些离散的点会形成边界深度图的噪声，从而干扰 分割结果。为了保证在二维空间边界尽量少的受到这些迷失的深度影响，我们依 旧使用了二维图像中的位置坐标来改善结果的视觉效果