基于改进PointNet 模型的毫米波点云语义分割

毫米波成像技术在安检领域得到了普遍应用，研究基于毫米波点云图像的语义分割技术具有重要的意义。PointNet++采用了与任务无关的最远点采样(FPS)来逐步下采样点云，导致毫米波点云中为数不多的前景点信息丢失。因此，本文提出了一种基于自注意力机制的实例感知下采样点云语义分割网络。具体来说，本文结合自注意力机制实现面向任务的下采样策略来保留前景点，防止前景点信息的丢失。最后，由于毫米波点云图像中人体点云数量与前景点云数量极不平衡，改进使用Focal Loss作为语义分割损失函数以提升性能。实验结果表明，本文提出的语义分割模型相对于基准模型PointNet++在平均交并比(mIoU)方面有6.19%的提升，同时准确率有5.57%的提升。

毫米波段(Millimeter-Wave, MMW)已广泛应用于人体安检系统[1] [2] [3]，特别是在机场、车站等公共场所，如何快速且准确地检测并识别人体隐匿物品成为了一项重要的技术挑战。

近期基于深度学习的目标检测算法在毫米波安检领域取得了显著的进展，陈国平[4]等人则在YOLOv3-Tiny 模型的基础上进行改进，引入注意力机制提升了毫米波图像中目标检测的准确性。而张格菲[5]等人提出了一种基于YOLOv5 的毫米波图像目标检测方法，通过改进GIOU_Loss 损失函数和网络结构优化，实现了对安检人员身上隐匿违禁品的高效识别和检测。程秋菊[6]等人提出了一种利用Faster R-CNN 深度学习方法来检测人体上隐藏的危险物品的技术。

通过将区域建议网络(RPN)与VGG16 训练的卷积神经网络模型结合， 并采用在线难例挖掘(OHEM)技术优化网络模型。

这些算法主要使用毫米波全息图像投影后得到的二维灰度图作为网络输入，输出模型预测的边界框，用于定位毫米波图像中的隐匿物品，然而毫米波灰度图像信噪比和分辨率远低于光学图像，边界框中不仅包含检测目标，还有人体背景以及噪声，这不仅会影响目标识别的精度，也不利于安检人员的查看[7]。

近年来，点云数据成为三维空间数据处理的一个重要分支，尤其在毫米波安检领域展现出了独特的价值。相较于毫米波灰度图，点云数据直接提供了物体的三维空间信息，包括物体的形状、尺寸和在三维空间中的位置[8]。这种数据形式使得点云数据在处理具有复杂几何结构的对象时表现出了更高的效率和准确性。因此，对毫米波点云图像进行语义分割，可以更准确地定位隐匿物品，减少背景噪声和人体背景的干扰，便于安检人员查看。

PointNet [9]模型作为处理点云数据的先驱，通过学习每个点的空间编码并对所有点特征进行全局聚合，成功地将深度学习应用于点集数据处理。然而，PointNet 本身并不直接考虑点之间的局部结构，这限制了其在识别细粒度模式和处理复杂场景时的能力。为了克服这一限制，PointNet++模型被提出。

PointNet++ [8]通过在嵌套分割的输入点集上递归应用PointNet，引入了一种层次化的神经网络结构。这