化学分析实验中的行为识别研究

为了提高化学实验室的智能化水平，本文对双流卷积网络进行研究，提出一种应用在化学分析实验领域的行为识别网络。本文网络将输入视频分为RGB和光流，通过改进的EfficientNetv2网络加深网络结构提取特征信息，同时探究双流网络的融合位置，改进损失函数，确定网络的最佳策略。经验证在自制的数据集中改进的双流卷积神经网络模型准确率可以达到92.4%，相比常规的行为识别算法具有更高的识别率。

进入智能时代，深度学习发展迅速，是国家科技大力发展的推动器，在各行业应用广泛，而随着我国人口老龄化的加剧，“三孩”政策全面实行，国家继续从高速发展转变为高质量发展，在此背景下， 人工智能的广泛推广使用不仅可以改善劳动条件，提高劳动效率，完成预期各种活动工作。动作识别作为计算机视觉一大重要课题具有广泛的应用前景， 而实验室的智能化应用却不足[1] [2]， 对于枯燥频繁或有一定危险的化学分析实验过程需要与机械臂结合，减少人力浪费，保护人员安全，相关研究员已经将人工智能和机械臂技术结合在化学实验应用方面进行了研究[3] [4] [5]，化学实验室智能化也将迎来新的发展。

近年来，人体行为识别的算法主要有两类，传统的手工提取特征方法和基于神经网络的方法，将图像识别的方法应用在行为识别中也屡见不鲜。

早期的动作识别研究算法在RGB 图像的基础上进行， 一些研究者是利用机器学习的方法手动提取视频动作信息，通过机器学习分类算法进行动作识别，方法费时费力然而准确率也不高。随着图像识别在深度学习上不断出现新的研究进展，许多研究者将深度学习引入动作识别中。大致分为三个方向：基于双流卷积神经网络，基于三位卷积神经网络，基于短时记忆网络。而动作识别与深度学习结合后的处理速度和准确率得到飞速提升的同时，在高准确率的实现背后是计算量的增大和运算速度的减小，加大了计算成本，限制了神经网络算法的应用以及最新深度学习的发展[6] [7] [8] [9] [10]。

动作识别经典算法双流卷积神经网络效仿人体视觉识别，在短视频识别领域具有较好的识别效果， 在UCF101 数据集上取得了88.0%的识别率，其应用也十分广泛，对其的改进在近年来也不断提高着双流卷积网络的深度和准确率[11]-[16]，陈颖和谢家龙等人将双流卷积网络和3D 卷积神经网络结合，其方法增加了特征的提取程度，特征信息得到了利用的最大化，但处理的信息也增大了几倍。曾明如等人将双流卷积和循环神经网络结合，但网络所采用的算法也存在特征提取不充分和泛化能力低等问题。针对此问题，本文对双流卷积算法网络进行了实验研究，通过改进特征提取网络和损失函数，提高算法的识别准确率。

2. 改进的动作识别算法 2.1. 双流卷积 Simonyan 等人在Karpathy 的基础上提出了视频动作识别模型双流卷积神经网络， 该模型创新性地提出了通过两个独立网络提取特征，一路进行RGB 图像的特征提取，一路进行光流特征提取，实现了提取时间序列特征。其模型如下图1 所示。