深度学习和APAP模型结合的大视差图像拼接算法

图像间位置偏差较大时，图像拼接容易出现错位、重影问题。提出一种深度学习和APAP模型结合的大视差图像拼接算法，该算法使用基于学习的SuperPoint网络同时提取图像特征点和描述符，采用SuperGlue网络对特征点进行筛选和最优匹配，最后通过APAP模型求取局部投影变换完成拼接。实际结果显示，在Mikolajczyk数据集上，基于学习的SuperPoint和SuperGlue网络在特征点提取和匹配方面相比传统算法重复率提升20%左右，准确率达到99%，鲁棒性更强，准确率更高。最终拼接图相比传统算法图像质量评价指标NIQE降低6.5%左右，基本消除错位、重影问题，更符合视觉效果。

图像拼接在视觉SLAM、三维重建[1] [2]、全景图像拼接以及医学等诸多领域被广泛应用[3]，是数字图像处理技术和计算机视觉领域的重要技术。在实际应用中，以Auto-Stitching 等为代表的图像拼接商用软件得到广泛应用， 这些软件大多基于全局的对齐方法[4] [5] [6]， 当相机拍摄角度位置发生较大偏差、不满足单点透视要求时，很难实现准确对齐，导致拼接图像发生模糊和错位。

解决该问题的关键在于拼接过程中的特征点检测和对齐能力两方面，国内外学者对这两方面进行了研究。Lowe [7]等提出了尺度不变特征变化(scale-invariant feature transform, SIFT)算法，通过构造差分金字塔的形式和利用高斯微分函数检测和描述特征点，该算法能够在图像旋转、尺度变化、光照变化和噪声等情况下提取出稳定的特征点， 但存在误匹配。

Bay [8]等提出了加速稳健特征(speeded up robust features, SUFR)算法，通过积分图的形式检测特征点，在提取效率上对SIFT 算法进行了优化，但在检测特征点的尺度不变性方面有所降低。Rublee [9]等提出ORB (oriented fast and rotated brief)算法，该算法在特征点检测上使用快速检测(features from accelerated segment test, FAST)算法，并通过灰度质心法为特征点添加方向，在描述符生成上提出快速定向二进制描述符，有效加速了算法的效率，但该算法不能充分解决尺度不变性问题，且在光照变化较大时，提取的特征点效果不佳。Gao [10]等使用双单应性变换(dual-homography warping, DHW)的方法， 将图像分为远平面和地平面， 对应区域分别投影， 该方法相比全局投影方法在对齐能力上有所提升， 但对大视差图像拼接效果依然较差。

许越[11]等通过全局单应性先对图像进行对齐和网格划分， 根据特征点分布调整变换矩阵， 提高图像的对齐能力。

Julio Zaragoza [12]等提出的APAP (As-Projective-As-Possible Image Stitching)算法，利用传统的SIFT 算法提取兴趣点，使用随机采样一致算法(Random Sample Con-sensus, RANSAC)筛选错误点，进行局部平面变换将图像划分为网格形式，通过移动线性变换(moving direct linear transformation, MDLT)对每个网格形变矩阵进行高斯加权， 这种方法在很大程度上解决了由视差引起的全景图错位和重影问题， 但对特征点和正确匹配率要求较高。

Chang [13]等提出在重叠区域采用