关于使用深度学习的 3D 点云几何压缩

前言

近年来,随着计算机软硬件的不断发展,计算机视觉、增强现实等已经做出了我们认为不会发生的事情。不得不说,科技正在改变我们的生活,带来更多的便利。 请添加图片描述
3D点云已广泛应用于计算机视觉、自动驾驶、增强现实、智慧城市、虚拟现实等领域。高压缩比、低损耗的3D点云压缩方法是提高数据传输效率的关键。

所以这里提出了一种基于深度学习的三维点云压缩方法,该压缩方法在细节重构方面的性能优于其他网络。这使它可以在保持可容忍的损失的情况下,达到比现有技术更高的压缩比。同时,它还支持 GPU 对多个模型进行并行压缩,大大提高了处理效率。

理解名词

1. 点云

点云只是一堆点。这些点包含丰富的信息。根据应用场景的不同,我们能了解到的关于点云的信息也不同。
关于使用深度学习的 3D 点云几何压缩
比如上面点云组成的椅子,简单来说,我们可以知道椅子的轮廓。通过点的颜色,我们可以知道点的密度,从而得到椅子的其他属性。

2. 体素

体素是体积元素(Volume Pixel)的简称,是数字数据于三维空间分割上的最小单位。

就像无线放大图片一样,我们可以看到图片是由小方块像素组成的。
关于使用深度学习的 3D 点云几何压缩
体素也是如此,就像著名的沙盒游戏 MineCraft 一样,这个世界中的很多建筑等都是由 1×1 的小方块组成的。
关于使用深度学习的 3D 点云几何压缩
像像素一样,体素本身不包含关于它们在空间中的位置(即它们的坐标)的数据,但可以从它们相对于其他体素的位置推断出来。

3. 表示学习

为了提高机器学习的准确率,我们就需要将输入的信息转换成有效的特征,这种行为被称为表示(Representation)。

表示学习(Representation Learning)就是一种可以自动地学习出有效特征的算法,并在最终提高了机器学习的性能的一种学习。

4. 损失函数

损失函数是一个可以评估我们模型的函数。通过损失函数,我们可以看到深度学习中需要优化的部分,进而优化模型。

5. BPP

BPP(bit per pixel) 是评判压缩算法好坏的重要指标之一,表示每个像素占据的比特位数。从压缩的目的来看,BPP越小越好。

相关工作

使用深度学习进行 3D 点云几何压缩只需要做两件事:点云表示学习和点云数据压缩。点云表示学习在这里起到了预处理的作用,预处理后的数据可以更方便地进行压缩。

1. 点云表示学习

大多数处理点云的神经网络都是基于体素模型,把原始模型分割成三维的规则体素,就像把 MineCraft 中的建筑拆解成一个个方块,可以让我们更方便地处理体素模型。然而,把稀疏的点云数据转化成体素模型需要大量的时间和内存。其次,和图片一样,如果我们需要高分辨率的体素模型就需要更小的体素块,但机器的内存是有限的,内存会极大限制模型的分辨率。因此,需要想办法去平衡分辨率与时间、内存等因素的关系。

以下是点云表示学习的以下方法:

① 由 Gernot 等人提出的 OctNet。试图通过将体素模型转换为具有不同叶子节点大小的不平衡八叉树来减少计算和内存需求。这样可以将高分辨率模型表示为不同尺寸体素的组合,减少内存浪费,提高计算效率。

② Kd-Network 处理基于 kd-树的点云,降低空间复杂度。也有作品将三维点云模型描述为多视图图像,但是,转换为图像集合可能会破坏三维模型的空间特征。
关于使用深度学习的 3D 点云几何压缩

③ PointNet 和 PointNet++已经开始直接处理 xyz 格式的点云。它们集中于点云分类和场景分割。

④Yao 等人 的FoldingNet。可能是第一个直接从无序的原始点云学习模型表示的方法。他们修改了一种名为折叠的新操作,以完成点云重构,这些代码是通过PointNet 类似的一维卷积提取的。折叠操作是将特征与二维网格样本结合,将二维网格折叠成三维模型。这个操作可以节省大量的内存。他们的在点云重建中,折叠操作是一种有效的扩展维度的方法,如。然而,一些细微的形状可能会在生成过程中被忽略,因为它们很难从二维网格中转换出来,例如多孔结构。

⑤ Panos 等人在卷积层和全连通层上构建了一个自动编码器来学习无序点云的表示。他们将几种不同的基于自编码器的 GANs训练成生成网络,并比较它们的生成能力。他们的网络对看不见的形状产生了良好的生成结果,但在细节重建方面仍然薄弱。

⑥ Jiaxin Li 等人提出了一种新的基于自组织映射(SOM)采样分组模型的特征提取方法,取代了 PointNet ++中最远点采样的直接采样方法。大大提高了分类精度。

2. 点云几何压缩

一个点云就是很多点,存储这些点云数据会消耗大量内存,不利于传输。

举个不太恰当的例子,如果将来有一天你开着一辆无人驾驶汽车,在驾驶过程中,无人驾驶系统突然卡住,那么你将失去两条生命。
请添加图片描述

有人可能会说,我们只需要不断地给汽车添加内存,然后等待?然而,汽车的容量是有限的,堆叠这些设备意味着增加汽车的体积或减少其他部件的体积,汽车制造商也不得不考虑成本。

因此,为了让大家从中受益,点云压缩就显得尤为重要。

点云压缩主要包括几何压缩、属性压缩和动态运动补偿压缩三种。这里主要研究几何压缩。一般来说,体素模型的体、面、边、点的形状分布既不规则也不均衡,其他压缩技术很难适应其特点,获得高效的压缩效果。几何压缩使用尽可能少的比特来反映连接信息和几何信息,并将这些比特排列成比特数据流,然后通过数据压缩的方法对比特数据流进行压缩。

分层自动编码(整体解压过程)

关于使用深度学习的 3D 点云几何压缩

1. 多尺度特征提取

在这里,使用率改进的多尺度分层编码器。通过最远点采样(FPS)得到局部区域中心,即在静止点集中迭代地选择距离之前所有采样点最远的点。利用一维卷积层和最大池化层提取局部区域特征。局部区域中心用来确定新的局域特征提取中心。

请添加图片描述

这些中心的坐标与局部特征结合形成新的特征,提供给下一个局部特征提取层。最后,通过全连接层将所有局部特征组合起来,通过池化层最大化,从而得到最终的综合特征模型。

2. 分层共建

在从压缩数据中重建点云时,使用层次结构来提高细节的重建能力。

请添加图片描述

该结构由三个不同分辨率的输出层组成。第一个输出层的输出给出了整个点云的基本框架,随后的输出层逐渐为框架添加更多细节。后一层的输出依赖于前一层的输出。通过这种方法,我们可以获得原始点云数据的多种分辨率表示。

评价

模型搭建好之后,我们需要对模型进行一系列的评估,来判断我们完成的模型的优劣,就像我们考试后老师给我们打分一样。

为了清楚地展示网络的训练过程,证明了本文的编码器从点云中提取了有效的特征,这里在潜在空间中实现了两个码字之间的差异,并根据差异结果。

1. 三维点云几何压缩

关于使用深度学习的 3D 点云几何压缩
从上图可知,bpp较小时,文中的深度学习压缩算法可以达到比Draco 高 10 倍的压缩比,甚至比 PCL 高 110 倍,同时保持较小的重构损失。

但是 PCL和 Draco 更快,更节省内存,这是因为 PCL 和 Draco 都是基于 C 程序的,这比 Python 要高效得多。其次,文中作者使用 Tensorflow 来替换文中大部分的工作,这会大大增加深度学习压缩器的内存开销。因此,用 C程序简化网络模型,替换 Tensorflow 中的大部分操作,可以提高效率,减少内存负载。

2. 局部特征大小的影响

本文中的编码器基于从原始点云中提取局部特征。更改局部特征提取的邻域大小会对训练结果产生很大影响。研究了局部区域大小与重建质量之间的关系。
关于使用深度学习的 3D 点云几何压缩

结果表明,局部特征提取的邻域大小对细节重建有很大影响。如果邻域大小太小,它就不能包含足够的点来描述局部特征。如果太大,会忽略局部区域的细节,导致重建不准确。

3. 损失函数的影响

通过不同的损耗函数来训练模型,可以看到 CD 和 RMS 可以保留模型的基本轮廓,但会导致重建不均匀。虽然 EMD 可以得到更均匀的结果,但它生成的图比较粗糙。多尺度RMS 和 多尺度CD 都可以实现精确、均匀的重建。

关于使用深度学习的 3D 点云几何压缩

从下表可以看出,用 CD 训练的网络CD 和 RMS 损耗都较小,说明 CD 比 RMS 的约束更强。多尺度CD 和 多尺度RMS 也遵循着同样的规律。
关于使用深度学习的 3D 点云几何压缩

综上,多尺度CD 是最佳的损耗函数,对网络进行精确、均匀的重构具有强大的训练能力。

总结

本文提出了一种新颖的深度学习自编码器过程来处理无序点云数据,与以前的无监督神经网络相比,具有更低的重建损失和更强的细节重建能力。

同时,作者设计了一种新的基于深度学习的稀疏点云几何压缩方法。它实现了比任何现有压缩方法更高的压缩比,并具有可接受的压缩损失。它还提供三种不同分辨率的输出,适用于不同的场合。

毫无疑问,深度学习是数据压缩的未来方向!

引文

  • 3D Point Cloud Geometry Compression on Deep Learning
  • Deep Learning for 3D Point Clouds: A Survey
  • 人工智能表征学习
  • 干货 |使用深度学习设计图像和视频压缩算法:更简单、更强大
  • On Visual Similarity Based 3D Model Retrieval

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
乘风的头像乘风管理团队
上一篇 2022年4月3日 下午7:40
下一篇 2022年4月3日 下午7:56

相关推荐