一种改进卷积循环神经网络的复杂场景下的车牌识别模型

识别自然场景图像中的汽车牌照是一项重要而又具有挑战性的任务。许多现有方法对于在固定场景下收集的牌照表现良好，但它们的性能在诸如车牌角度倾斜、光照强度过亮或过暗、图片模糊等复杂的环境中显著下降。本文提出了一种改进的卷积循环神经网络车牌识别模型，在网络中加入幻影模块(Ghost Block)和卷积块注意模块(Convolutional Block Attention Module, CBAM)，能够提高车牌字符特征提取的丰富程度的同时在通道和空间方向上对车牌字符特征进行加权，提高模型对车牌字符识别的准确率。最后通过实验验证了本文提出的模型的有效性。

车牌是机动车的一个重要的身份标识，对其的精准识别具有较高的应用价值，并已经成为最近的研究热点[1]。车牌识别技术己经被广泛应用于车辆身份认证、车辆密度统计、智能驾驶和交通场景理解等方面。

传统的车牌字符识别方法有模板匹配和垂直投影等方法。郑琳[2]采用模板匹配法对单个车牌字符图像进行识别，能有效降低字符图像的噪声与字符特征描述符冗余问题。曾夏明[3]利用Hough 变换与像素点投影的方法来完成车牌的倾斜校正与分割，最后采用支持向量机来分类汉字字符与数字字母字符。但是传统方法非常容易受车牌图像中光照不均、噪声等因素的影响，导致车牌识别准确率低。深度学习技术的出现为复杂场景中的车牌图片识别任务提供新的途径。Zherzdev 和Gruzdev 提出的LPRNet [4]采用空间变换网络将车牌图像进行仿射变换，对车牌形状进行矫正，使得车牌图像更好地被识别。Gong 等人[5]提出的方法将车牌检测网络提取的特征与车牌识别网络共享，减小计算量，提高车牌识别速度。

基于深度学习技术，本文提出一种改进卷积循环神经网络车牌识别模型LSTM-Ghost-CBAM，将传统卷积循环神经网络中的循环神经网络(Recurrent Neural Network, RNN)替换为长短期记忆网络(Long short-term memory, LSTM)，并且在网络中加入Ghost 模块提高车牌字符特征提取的丰富程度，同时加入CBAM模块在通道方向和空间方向上对车牌字符特征进行加权， 提高模型对车牌中单个字符识别的准确率。

最后在CCPD 数据集的最具有挑战的三个子数据集上对所提出的模型进行实际测试，实验结果表明本文提出的车牌识别模型能够在车牌角度倾斜、光照强度过亮或过暗、图片模糊等复杂环境中进行正确识别。

2. 模型结构 本文提出的车牌识别模型LSTM-Ghost-CBAM 的总体框架如图1 所示，先将输入的车牌图片进行预处理，将图像的大小调整为128*64*3。在卷积特征提取模块，对图片进行特征提取，并进行下采样操作，