一种无参数的局部线性判别分析方法

为了解决因引入局部化思想的线性判别分析(Linear Discriminant Analysis, LDA)方法需要人工设置邻居个数而无法以自适应的方式挖掘数据的局部结构问题，提出了一种无参数的局部线性判别分析(Parameter-free Local Linear Discriminant Analysis, Pf-LLDA)方法。该方法首先建立了一个关于权重矩阵和变换矩阵的统一优化模型。然后，通过使用交替方向的方法迭代求解出了与数据局部结构相关的权重矩阵和与判别分析相关的变换矩阵。从而使得Pf-LLDA在无需人为设定邻居个数的情况下，自适应地挖掘出了数据的局部结构并最终实现了局部线性判别分析的能力。在仿真数据集和手写体真实数据集上的实验结果表明，Pf-LLDA挖掘出数据局部结构的同时实现了更优的判别分析结果。

维度约简在解决维度灾难问题上具有很重要的作用。降维作为维度约简中最为直观的一种方法在模式识别和机器学习领域具有很重要的研究意义[1]。

通常来讲，根据是否使用了数据标签信息，降维方法可以被简单的分为有监督的降维方法和无监督的降维方法[2]。相对于无监督的降维方法，有监督的降维方法因为利用了已知的数据标签信息而被更广泛的采用。线性判别分析(Linear Discriminant Analysis, LDA) [1] [2]便是一个典例。LDA 通过最大化类间距离的同时并最小化类内距离的方式找到了具有判别性的线性变换。

但由于LDA 用样本均值代表整体样本的方式构造类内散度矩阵和整体散度矩阵， 当同类样本不满足高斯分布假设(即多模态现象)时[3]， LDA将失去判别能力。为了使LDA 能有效地应对多模态现象，国内外众多学者在传统LDA 中引入了数据的局部结构。比较典型的有：非参数1 判别分析(Nonparametric Discriminant Analysis, NDA) [4]，局部Fisher判别分析(Local Fisher Discriminant Analysis, LFDA) [3]和局部敏感判别分析[5] (Locality Sensitive Discri-minant Analysis, LSDA)等。更为具体地，NDA 通过将每个样本替换表示成其近邻样本加权的形式引入了数据的局部结构。LFDA 首先将LDA 中的类内和整体散度矩阵重新表示成样本间距离平方和的形式，然后再引入局部保留投影的思想使样本在降维前后保持着一致的邻居关系，从而达到局部结构的引入。不同于LFDA，LSDA 从谱图理论出发，通过将图表示成拉普拉斯矩阵的形式引入了数据的局部结构。此外，还有许多在LFDA 和LSDA 模型基础上的变体[6] [7] [8]，这些变体本质上都是通过改变样本间相似关系的权重值或者图节点间边值的大小得到对数据结构更准确的近邻表达。不幸的是，这些方法在引入数据局部结构时都必须人为设定样本的近邻个数。

该近邻个数参数决定性地影响着数据降维后的可分性， 且其具体值的确定需要科研人员对数据的先验知识具有很全面的认识，这很大程度上限制了局部线性判别分析方法的广泛应用[9]。因此，仅根据已有的数据样本，自动对数据进行局部线性判别分析是一个非常值得研究的问题[10]，同时在图像检索[4]和人脸识别[11]等方面具有很重要的应用价值。

受自权重自适应局部判别分析(Self-weighted Adaptive Locality Discriminant Analysis, SALDA) [9]的启发， 本文提出了一种无参数的局部判别分析(Parameter-free Local Linear Discriminant Analysis, Pf-LLDA)方法。Pf-LLDA 首先建立一个与LDA 类似的模型。但不同于LDA 模型只需要求解与降维相关的变换矩阵，Pf-LLDA 不仅需要求解与降维相关的变换矩阵还需要求解与数据局部结构相关的权重矩阵。通过运 1需要注意的是，这里的“非参数”意指无高斯假设，直译于Nonparametric，与本文标题“无参数”区分开。