【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds

摘要

  • 问题:用坐标表示点云无法直接表示其几何结构
  • 方法:RepSurf (representative surfaces)能够描述局部结构。
  • RepSurf还可以分为 Triangular RepSurfUmbrella RepSurf
  • 在surface reconstruction后,通过提前定义几何先验计算RepSurf表示
  • 优点:RepSurf适用于不规则点,因此与其他模型的兼容性很好
  • 应用:classification, segmentation 和 detection
  • 代码https://github.com/hancyran/RepSurf

1.引言

  • 局部特征对于点云学习而言很重要,之前的学习方法,包括grids、relations、graphs,都会引入诸如欧式距离、注意力机制等其他变量,或者是使用不同的变换(graph construction, voxelization)。这可能会导致复杂的处理或是大量的计算。这些复杂的分量通常都可以从隐式的局部形状表示中学到。不仅如此,在提前定义这些分量时还会导致信息的损失,在变换时导致几何损失。
  • Curve ——> Surface
  • 对RepSurf定义了三个性质:①discreteness;②explicit locality;③curvature sensitivity
  • Triangular RepSurf & Umbrella RepSurf

2.相关工作

2.1. Learning on Point Clouds

  • Multi-view methods
  • Voxel-based methods
  • Point-based methods

2.2. Detection on Point Clouds

  • Early methods:convert point clouds to 2D grids or 3D voxels
  • Recent works:raw point clouds

2.3. Graphics-related Surface Representation

triangle meshes、spatial Poisson
formulation、umbrella surface

3. Surface Representation

3.1. Background

局部特征对于表示点云很重要。之前的工作都是通过利用额外的分量或是不同的变换间接地从形状中学习局部特征。这些操作可能对隐式表示点云集有帮助,但是无法显式地反应局部特征。

通过Talyor公式表述一个 以 2D curve 【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds的点【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds为中心的局部区域:
【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds

为了简化计算:

【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds
其中【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds是在curve 【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds上的全局位置,一阶导数【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds表示在【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds附近的局部方向。为了进一步表示局部curve(图2左),通过对应的正切表示局部方向:
【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds
其中 【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds, and 【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds 是正切的法向量,其中【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds。总之,一个局部curve的描述子可以表示为:
【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds

3.2. Properties of RepSurf

Triangle mesh包含了一组共用的边和角连接的三角形,因此应该能够灵活的表示连续且复杂的3D形状。但是,由于不规则性,Triangle mesh可能不会与点云的数据结构相匹配。从点云转换到triangle mesh的过程中可能会导致巨大的计算量和点云特征的损失。因此,设计的 RepSurf有着以下几个特性:

  • Discreteness. 理想情况下,一个RepSurf特征应该对应着【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds个点
  • Explicit Locality. RepSurf以数字的形式表示了部分点云的显式局部性。
  • Curvature Sensitivity. RepSurf应该能够直观地突显边缘和局部形状

3.3. Triangular RepSurf

记点云集合为【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds,与 3.1节中的2D curve相似,通过点-法向量公式定义一个3D 正切 surface。给定一个法向量【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds和点【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds,surface可以表示为:
【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds
定义surface position为【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds,范围为【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds表示将点云集包含住的立方体边长。注意,【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds也还表示原点到surface的定向距离。

通过叉积计算【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds,但是计算的【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds是无方向的——【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds既可以指向surface的里面,也可以指向surface的外面。

考虑到效率,通过保持【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds为正,然后通过instance-level random inverse增强法线,概率为50%。那么最终的Triangular RepSurf为:
【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds
定义一组 Triangular RepSurf为【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds 【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds。将【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds替换为triangles重新计算的质心【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds,然后将【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds进行拼接。

3.3. Umbrella RepSurf

Triangular RepSurf很容易受到感受野的限制,会带之不稳定的局部表示。

记相邻点的个数为【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds,neighbor triangles的质心为【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds 【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds,neighbor triangles的triangular features为【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds 【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds,umbrella curvature的无符号系数为:
【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds
其中【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds是第【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds个点的给定法向量。但是,在点集【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds中,【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds是未知的。这就使得umbrella curvature在实际场景中无法应用。此外,我们认为scalar curvature无法完全表示局部几何结构。

为了解决上述问题,提出Umbrella RepSurf。Umbrella RepSurf可以处理位置敏感的同质邻居。点【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds的Umbrella RepSurf 【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds定义为:

【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds
其中【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds是聚合函数(summation or max),【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds是变换函数,【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds是根据其质心 【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds得到的归一化坐标。为了计算【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds,在【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds-plane平面上沿着x轴从【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds逆时针旋转构造相邻的triangles。因此,umbrella surface中的triangles数量为【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds注意,为了保持法向量方向的局部一致性,通过逆时针叉积计算法向量。 为了简化全局法向量方向的定义,我们令【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds保持为正,其他法向量的方向也随着其变化。与Triangular RepSurf一样,通过random inverse增强umbrella surface的法向量【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds

3.5. Implementation

在PointNet++的single-scale grouping(SSG)版本上实现RepSurf。对于每一个set abstraction,我们都输入RepSurf 和 point features。

极坐标 极坐标系通过相对于原点的距离和角度表示一个点的坐标。以Spherical system为例,在寻找完点【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds的neighbors后,通过它的spherical位置重新定义第【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds个neighbor的位置:
【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds
其中【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds是归一化欧式坐标的三个维度值,【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds, 【点云处理之论文狂读前沿版6】Surface Representation for Point Clouds

Channel de-differentiation 不同类型的输入(坐标、法向量点特征)在数据分布上有着很大的偏差。为了平等的处理不同的输入,我们探索用于沿着通道维度的differentiation。本文采用Post-CD,在每个线性方程后面都用用batch normalization。

4. 实验

4.1. Classification

4.2. Segmentation

4.3. Detection

4.4. Ablation study

ModelNet40

Types of RepSurf.

Design of RepSurf block.

Group size.

Polar auxiliary.

Channel de-differentiation.

这里,vanilla表示PointNet++,Pre-CD表示在线性函数之前加BN,Post-CD表示在线性函数之后加BN。实验证明,在之前加BN会使得输入的原始语义变得模糊。

5.结论

Limitation.

  • 由于KNN算法对于噪声的敏感性较强,所以RepSurf在进行surface reconstruction时可能会收到噪声的影响。
  • Umbrella RepSurf对于杂乱无章的点来说还是脆弱的,因此,在搜寻更多的neighbours时,neighbours将会变得很乱。

Conclusion.

Perspective.

  • 点云的表示还是值得思考的一件事情
  • RepSurf 能够解决实际场景的问题,因此在其他领域应该可以得到广泛的应用
  • RepSurf 在point cloud sampling领域也有好的前景

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
社会演员多的头像社会演员多普通用户
上一篇 2022年5月18日
下一篇 2022年5月18日

相关推荐