一种基于空间特征的三维点云语义分割模型

真实的点云场景通常包含非常复杂的环境，加上三维点云数据所具有的离散性、无序且分布不均匀的属性，针对点云的详细信息分析往往非常具有挑战性。针对以上问题，提出一种基于编码器–解码器的分割网络。首先，通过关键点提取模块获取点云的形状特征并通过全连接层提取形状关键点；然后，通过空间细节提取模块获取基于关键点的空间细节特征；最后，结合形状特征和空间细节特征，获取点云丰富的空间信息及上下文联系，提高网络的泛化能力。实验结果表明，我们的网络在公共数据集Urban Semantic 3D (US3D)和ISPRS Vaihingen 3D semantic labelling benchmark (ISPRS)上的平均交并比分别为93.44%和81.45%。我们的网络分割性能良好，且具有较好的泛化能力。

随着三维传感硬件能力的不断增强，现在可以很容易地在许多场景中捕获三维数据。与二维图像相比，三维数据提供了更丰富的环境信息。三维数据通常可以用不同的格式表示，包括深度图像、点云、网格和体积网格。点云作为一种常用的表示格式，在三维空间中保留了原始的几何信息，不需要任何离散化。因此，它是许多场景理解相关应用(如自动驾驶和机器人)的首选格式。

点云解译是点云处理的重要任务， 包括点云对象分类[1]， 点云对象检测[2]和点云语义分割[3] [4]等。

在这些任务中，将语义标签分配给点的点云语义分割相对具有挑战性。尽管在深度学习策略的帮助下语义分割领域取得了巨大进展，但大多数方法都是针对二维图像[5] [6] [7]的。与二维图像不同的是，在二维图像中，像素网格与对象颜色信息是规则对应的，而三维对象数据是分散的，大多数空间实际上并未被占用，因此直接将深度神经网络操作从二维扩展到三维是低效的。

点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，其独立描述每个点的相关属性信息，能提供丰富的信息，但点与点之间没有显著的联系，而点云语义分割需要预测每个点的语义类别，提取更精细的点特征，因此需要结合上下文信息。由于点云离散性、无序且分布不均匀的特点，这使得三维点云语义分割任务更具挑战性。

针对三维点云数据的特点，本文提出了一种适用于三维点云数据的语义分割模型。本文的主要贡献分为两个部分： 1) 我们提出了一个关键点提取模块， 通过提取多个方向信息学习形状特征， 并以此推算形状关键点， 生成的关键点跟点云的位置一致性联系不大，但能对形状有敏锐的感知，适应点云无序且分布不均匀的特点。

2) 我们设计了一个空间细节提取模块，通过提取局部细节特征和空间特征，将其聚合形成空间细节特征。它促进了点云不同区域之间的相关性，并整合了点云的上下文信息，提取更精细的特征。

本文结构如下：第二章介绍点云语义分割处理的相关工作，第三章介绍提出的方法，第四章展示实验，第五章总结本文。

2. 相关工作 目前，基于深度学习的三维点云模型语义分割方法主要有：基于投影的方法、基于多视图的方法、