点云上采样技术研究

点云上采样旨在将稀疏、嘈杂、不完整的点云转换为密集、干净、完整的点云，这样有利于提高下游任务的性能。当前的点云上采样方法主要分为基于优化和基于学习的方法，本文针对基于深度学习的点云上采样算法进行了综述。本文从点云上采样的开山之作PU-Net引入，阐述了上采样算法的发展，并总结了插值算法在点云上采样中的应用，然后对不同特征扩展方法进行了比较，介绍了上采样算法的评价指标和常用数据集，最后对点云上采样的发展前景进行了展望。

点云是表示3D 数据的最基本的方式，在计算机视觉和机器学习领域被广泛应用于目标检测[1] [2] [3]、物体识别、3D 重建[4] [5]和虚拟现实等方面。随着商业3D 扫描仪的普及，从现实世界场景中捕获点云变得方便且经济，然而3D 扫描仪生成的原始点云通常稀疏且嘈杂，有时还带有小孔，这极大地影响了下游任务的性能。因此，将原始点云上采样为密集、干净、完整且带有更多几何细节的点云至关重要。

当前的点云上采样方法主要分为基于优化和基于学习的方法。基于优化的方法通常严重依赖于不同的形状先验，限制了对不同3D 结构的泛化，特别是当先验要求不满足时。

近年来，出现了一大批基于深度学习的点云上采样算法。与由规则网格表示的图像空间不同，点云具有无序性和不规则性，以往传统的处理方式是将点云投影到二维平面或者体素化，再进行特征提取， PointNet [6]开创了从无序点云直接提取特征的先河，它采用MLP 和Max Pooling 对称函数相结合来保证点云的排列不变性。然而，PointNet [6]本质上是对单点操作，最后通过最大池化获取全局特征，并没有考虑局部结构；随后，PointNet++ [7]的提出融入了点云的局部结构，它构建了点的分层分组，并沿着层次结构逐步抽象出越来越大的局部区域。

Pu-Net [8]基于PointNet++ [7]的架构实现分层特征学习， 以特征复制的方式实现点的扩展。点云上采样有两个目标：生成的点应该描述潜在目标对象的基础几何形状， 这意味着它们应该大致位于目标对象表面上；另外，生成的点应该包含丰富的信息，均匀分布在物体表面上。因此，网络设计重建损失和排斥损失来对上采样点云进行约束。至此，基于Pu-Net [8]的上采样框架不断涌现出来，本文主要对基于深度学习的点云上采样方法进行综述。

早期的点云上采样算法仅仅是简单地对特征进行复制，造成扩展的点特征彼此过于接近，对此后续提出了改进的上采样算法。

包括基于生成式模型实现点云生成，在点云图上引入图卷积网络进行上采样， 基于注意力机制的点云上采样，自监督点云上采样方法等，近年来，点云上采样与GNN、生成式模型、自监督、注意力机制等技术和思想的融合，推动了点云上采样技术的发展。

2. 点云上采样开山之作：PU-Net 2018 年，Yu 等学者提出了第一个点云上采样网络PU-Net [8]，它的上采样过程可以概括为四部分：分片提取(patch extraction)， 特征嵌入(feature embedding)， 特征扩展(feature expansion)， 坐标重建(coordinate reconstruction)，如图1 所示。