BiSeNet轻量语义分割网络优化研究

语义分割是对图片上每一个像素的归类预测，使得每个语义类别对应的预测区域得以分割显现，是图像处理的重要方面。轻量级语义分割模型的研究点在于掌握性能与速度的天平，使其能够投入移动设备的应用，本文是对BiSeNet轻量语义分割模型的优化研究。首先，本文介绍了BiSeNet模型的ResNet50主体上下文分支结构，以及表层卷积辅助分支结构，还有基于通道注意力机制的ARM特征加强模块和FFM融合模块作用和原理；然后，提出模型优化改进结构，先在辅助分支表层卷积中以空洞卷积增强信息整体分析后，然后以SAM空间注意力模块增强特征质量，再利用ASPP金字塔加强辅助分支与主分支融合；最后，在VOC2012数据上，得出改进前后BiSeNet模型对比结果，在轻量性和正确性上，验证优化结构合理性。

现代轻量级语义分割是以深度学习[1]为理论基础，对图像逐像素预测其所属类别的一门技术，场景应用广泛。轻量级语义分割始于FCN [2]，其基于图像分类，提出U 型编码器–解码器结构，在当时取得领先效果。随着移动设备的普及应用，我们对分割模型有更严格的轻量与精确性要求，以嵌入到载体中发挥实际作用。如何兼顾轻量性与准确率，发挥分割网络最大效用，是我们要研究的课题。

主流轻量级语义分割网络常以ResNet [3]、MobileNet [4]、DeepLab [5]等作为主体基础，以创新分支结构、增强特征提取、增强特征融合等手段提高模型准确率，同时注重采用轻量结构增强模型可内嵌性。

在分支结构方面，有双路径互补结构的BiSeNet [6]，三路径级联汇合特征的ICNet [7]，以及多分支特征再利用结构的DFFNet [8]等。在增强特征提取方面，常用注意力机制来筛选重要特征，加强信息利用， 张铮等[9]将双空间注意力门分别安插在Fast-SCNN 双路径末端，在像素颗粒上监督细小裂缝分割，增强鲁棒性；方家吉等[10]以瓶颈注意力模块(BAM)来同时加强通道与空间方向的注意， 去除电力线分割噪点。

增强特征融合方面， 多尺度多层次是切入口， 肖哲璇等[11]以双侧金字塔结构分别富集双分支对应的空间、语义信息；谢刚等[12]设计多尺度条形特征提取模块，加强对纤细条状物的分割识别。模型轻量化方面， 1 × 1 卷积、深度可分离卷积(DSC)等都是常见的轻量化手段。

虽然现代轻量级语义分割模型在平衡速度与精度的问题上取得较大进展，但没有任何一个模型同时达到最小内存与计算、最快速度与最大精度。轻量级语义分割仍有很大的优化提升空间，在轻量级与拟合性两个互斥性能中寻求平衡，实现优中取优，是本文的研究目的。本文基于双路径BiSeNet 结构，以空洞卷积和轻量SAM 模块增强特征提取，以轻量ASPP 模块增强特征融合，实现对BiSeNet 的优化。

本文内容安排为：第一章引言描述本文研究背景与目的，第二章介绍BiSeNet 模型结构，第三章描述优化BiSeNet 结构，第四章对比分析结果，最后得出结论。

2. BiSeNet 模型结构 2.1. ResNet50 主体 本文研究的BiSeNet 模型骨干主体选用ResNet50 网络， ResNet50 模型由不同Bottleneck 瓶颈结构残差块有序搭建。Bottleneck 以恒等映射形式减小深层传播产生的信息偏离损失，以瓶颈结构轻量化模型。