基于时空分析的手术场景三维重建方法研究

内窥镜图像的深度估计与手术场景三维重建是微创手术中提高外科医师手术效率的关键因素。本文提出一种基于时空分析的手术场景三维重建方法，深度估计网络采用编码器–解码器结构，编码器使用ResNet34模块、改进的SAB注意力机制、改进的FPN模块以及特征增强模块；解码器通过上采样获取图像的深度信息和位姿信息，实现内窥镜图像的准确深度估计。在跟踪重建方面，通过时空跟踪优化相机位姿，将空间维度的深度信息与时间维度相结合，通过时空分析与融合，还原手术场景的三维结构。评估采用Hamlyn公共数据集，实验结果表明本文所提方法可有效提高内窥镜图像深度估计的准确性，同时通过与时间维度的深度信息融合，可准确还原手术场景的三维信息，进一步辅助外科医师实现术中精准导航。

从内窥镜图像序列中还原手术场景的三维信息具有非常重要的研究意义[1]，通过深度学习网络对内窥镜图像进行深度估计，然后对不同图像帧进行跟踪和重建，将空间深度信息与时间维度相结合，最终实现手术场景的三维重建。

图像深度估计与手术场景三维重建是手术场景还原过程中的两个必要步骤。深度估计的准确度直接影响到后续跟踪和三维重建的准确度。

针对深度估计问题， Chen 等人[2]提出一种通过学习相对深度以预测像素级深度的多尺度网络。利用相对深度损失函数对网络进行训练，并在无约束环境下实现了单目图像的深度估计。2018 年，Li 等人[3]运用分类回归损失函数，结合扩张卷积(Dilated convolution)，将图像的多尺度深度信息进行融合，进而实现更加准确的深度图估计。Dong 等人[4]提出概率符号距离函数(PSDF)，设计了一种包含体素、网格和网格的混合数据结构，使用贝叶斯更新逐步细化，实时以更多的细节和更少的噪声重建高质量的表面。2019 年，Xie 等人[5]使用胃肠道内窥镜数据集，在位姿优化和空间点定位方面引入局部姿态优化算法和最小几何距离法， 但该方法在低帧频时容易出现跟踪丢失的现象。

2020 年， 孙蕴瀚等人[6]提出一种基于自监督卷积网络的单图像深度估计方法， 设计了编解码结构的CNN， 没有全连接层，应用了残差结构、密集连接结构和跳跃连接，通过预测视差的方式学习图像场景内的深度信息， 实现了端到端的单幅图像深度估计。

2021 年， Sucar 等人[7]跟踪进程中使用NeRF (Neural Radiance Fields) [8]中的网络架构，优化当前帧相对于固定网络的姿态，重建进程判断关键帧，进行联合优化网络参数和关键帧相机姿势。同年，David Recasens [9]等人提出使用自监督深度神经网络和光度残差跟踪相机位姿[10]， 以实现准确和稠密的人体内腔三维重建。

并通过实验证明所提方法在图像缩放后性能不会下降，但预测深度值与真实深度值之间的误差还有改进的空间。

本文针对内窥镜手术视频连续且相邻图像帧之间场景重合度较大的特点，提出基于深度学习网络的