基于LSTM/GCN的在线学习文本特征提取方法

传统方法对在线学习文本进行特征筛选往往费时费力且迁移性较差。针对这一问题，根据在线学习文本短，专业词汇多，文本间结构信息丰富等特点，提出基于LSTM/GCN对Doc2Vec所得文本向量中文本–文本关系进行强化的文本嵌入方法，以解决传统方法中文本在投影到嵌入空间后结构信息丢失的问题。并提出指标MeanRank用于量化文本向量中结构信息的留存情况。实验结果表明，方法在指标MeanRank和文本分类精度上优于传统方法。可视化结果表明，增加结构向量使得文本向量在课程内部具有一致连贯性，在课程间更有区分度。

学习分析(Learning Analytics, LA)用于描述技术增强学习(Technology Enhanced Learning, TEL)研究领域[1]，该领域的目标是开发用于检测教育系统中数据模式的方法，并使用这些方法来提高学习体验。学习分析所使用的机器学习算法大多依赖于数据良好的特征表示，而教育系统中的特征常基于专家知识进行人为设计，导致教育系统之间特征构造方法往往不同，难以复用，海量的在线教育数据无法得到充分利用。

目前，基于深度学习实现端对端的特征提取因其便捷性受到了广泛的关注。将文本转换为实数向量属于自然语言处理(Natural Language Processing, NLP)的研究领域，通常被称为文本嵌入方法。然而，课堂的简介通常篇幅较短并含有大量的专业性词汇，使用传统的文本嵌入方法来提取特征效果欠佳。

近期有研究者的工作[2]表明，使用图卷积神经网络可以高效地提取单词–单词和文本–单词特征用于文档分类，证明了结构信息对文本嵌入的增益。基于此，本文提出了基于LSTM [3] /GCN [4]的在线学习文本特征提取方法，方法分为三个模块：数据预处理模块，语义嵌入提取模块和结构嵌入提取模块。

通过利用文本–文本结构信息对文本的语义嵌入向量进行补充和增强来得到课堂的表示向量。其中结构嵌入被定义为包含当前文本与其上下文文本结构信息的嵌入向量。方法大致过程如下：利用文本嵌入提取模块将课堂描述文本转化为语义嵌入向量；再将语义向量输入到结构嵌入提取模块进行更新融合得到结构嵌入向量；最后将这两部分向量结合得到最终的课堂嵌入向量。

2. 相关研究 文本嵌入是自然语言处理中将文本映射到实值向量空间技术的统称。一种常见的做法是使用词嵌入