基于长短时间记忆网络与集成学习的多通道脑电情感识别

情感识别是人机交互中一个比较关键的问题，脑电作为人生理号中重要的组成部分，是识别人情感的关键因素。由于大脑中复杂的神经元活动会导致信号的非平稳行为，利用脑电进行情绪识别是一项具有挑战性的研究，并且多通道的分析是处理脑电信号时需要考虑的重要问题。本文提出了一种基于长短时间记忆网络与集成学习的多通道脑电情感识别模型，通过研究选取对情绪反馈响应较大的脑电通道，将不同通道的脑电数据分别放入长短时记忆网络中进行训练，再将各通道的训练模型通过集成学习策略进行优化，从而能整合各通道的信息进行情感分类。此研究在DEAP基准数据集上进行了情绪识别实验，我们在效价和唤醒两个情感维度的的情感识别结果均有明显的提升，准确率分别达到了87.6%，90.52%，验证了多通道集成方法的有效性。

情感在日常生活中具有重要的意义，与人类的行为和认知有密切的联系，情感和人与人之间的交流有至关重要的影响。使用电子设备进行情感识别被称为情感计算，它是一种利用各种传感器和计算机环境进行情感识别的技术，这个概念起源于1995 年Rosalind Picard 关于情感计算的论文[1]。情感识别作为情感计算最重要的研究课题之一，近年来因其在疾病检测中的应用而受到越来越多的关注[2]。

在与情感识别相关的研究中， 情感模型一般有两种形式。

第一种模型是离散模型， 如Ekman 和Friesen [3]提出的六种基本情绪。第二种方法将情绪定义为由效价(valence)、唤醒(arousal)、支配(dominance)组成的连续的3-D 空间，见图1。在大多数研究中，这一空间被简化为二维，见图2，即valence 和arousal维度[4]。相关研究中将离散和连续的方法相互联系起来[5]，使离散的情绪状态被映射到valence-arousal环路模型上，可以将情绪从连续空间转换到离散空间。

根据调研， 情感识别技术的方法主要分为两类， 一种基于外部情绪反应， 包括面部表情以及手势， 另一种是基于内部的情绪反应，包括脑电图，心电图等。在这些方法中，基于视听的解读面部表情和声音的探测器实现了情绪的非接触识别，但由于人们很容易掩饰自己的情绪，从而无法准确地反映其内心的真实情感，因此不能总是返回可靠的结果。而相对的，生理信号的识别精度相对校高，与情绪相关的生理变化有两种：一种与外周神经系统(Peripheral Nervous System, PNS)有关，另一种与中枢神经系统(Central Nervous System, CNS)有关。通常，从心电图(ECG)、皮肤电导(SC)和脉搏等外周生理信号中提取特征，可以为识别情绪状态[5]提供详细而复杂的信息。与其他生理信号相比，从中枢神经系统捕获的脑电(EEG)信号，可以直接反映大脑的活动，与人的情绪状态有内在联系，神经科学研究表明，大脑皮层的一些主要区域与情绪密切相关，因此使用EEG 信号进行情感识别是一项可行的研究[6] [7]。