文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 互联网 > 基于局部线性判别嵌入算法的中文文本分类研究_6661446b_9dfc_4c55
侵权投诉

基于局部线性判别嵌入算法的中文文本分类研究_6661446b_9dfc_4c55

信息系统

欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟

数约简算法结合K近邻分类器(KNN)的文本分类算法,并通过实验证明该算法能够有效提高文本分类精度。

上述研究都将流形学习算法应用到中文文本分类研究中,从不同程度、不同方面对算法进行了改进,取得一定的研究成果,这说明基于流形学习的非线性特征抽取方法应用于中文文本分类研究中是有效可行的。但不同算法在提高文本分类精度的同时,又存在如忽略文本分类的时间复杂度问题,各参数取值等问题,特别是近邻参数K取值等问题。基于此,本文充分利用已知文本类别的先验信息,尝试使用新的流形学习算法并应用于中文文本分类,以期提高中文文本分类的准确性及效率。

(ModifiedMaximizingMarginCriterion,MMMC)来自动决定最优转换和标度值。在LLDE方法中,分类信息被用于寻找最优转换向量。

2局部线性判别嵌入方法

文本分类的主要任务是根据已有的文本数据信息训练

高性能的分类器,从而实现对新的未知类别文本的自动分类。其中,文本特征抽取是实现对高维文本数据进行降维的主要步骤与方法,文本特征抽取算法的好坏直接影响了文本分类的效果。利用特征抽取方法降维的目的是将高维数据投影到低维特征空间,使得不同类别的样本可以被简单地分类。在流形学习算法中,LLE方法及其部分改进算法已经应用到文本分类领域并取得一定成果。原始的LLE算法对于采样于单个流形的文本数据可以得到较好的低维嵌入,是一种可以有效地将高维数据投影到低维空间的可视化降维方法。然而,LLE在进行特征提取时不能直接利用训练集的类别信息,从而导致分类效率降低。针对LLE方法的这一弊端,LLDE方法充分利用类标签优势以改进原始LLE方法的分类能力。2.1

局部线性嵌入

LLE假设流形上每一个局部邻域内的任意一点都可以描述为领域内其他点的线性表示,各个领域之间的连接信息也可以通过相互重叠的部分加以描述,这种线性关系在映射时保持不变

[13]

1流形学习算法概述

美国“Science”杂志在2000年连续发表了3篇从认

知角度提出和讨论流形学习的研究课题,首次使用术语“ManifoldLearning”(流形学习),并给出可行有效的算法,提供了一个新的降维方法的研究方向,掀起了流形学习研究的热潮

[8]

。由于流行学习能够对训练集中的高维

数据空间进行非线性降维,揭示其流形分布,找出隐藏在高维观测数据中有意义的低维结构,以便从中提取易于识别的特征。因此,流形学习在智能信息处理和模式识别中有十分重要的应用前景分类等领域。

流形学习的基本思想为

[10]

[9]

,并成功应用在人脸识别、肿瘤

:高维观测空间中的点是

由少数独立变量的共同作用在观测空间张成一个流形,如果能有效地展开观测空间卷曲的流形或发现内在的主要变量,就可以对该数据集进行降维。例如,在人脸识别方法中,一组人脸图像集可以包括人脸的多种姿态、位置、规模和光照条件,这些参数被看作是人脸流形(theFaceManifold)中的重要特征。使用流形学习方法,就可以将观测到的高维数据映射到一个低维特征流形空间。

经典的流形学习算法主要有等距特征映射、局部线性嵌入、拉普拉斯特征映射、局部保持投影(LocalPreser-vingProjection,LPP)[11]等。其中,LLE算法是最具代表性的流形学习方法。但往往由于近邻K选择不当,容易造成多个子流形之间的重叠,不能得到满意的低维嵌入,同时,原始的LLE算法无法直接用于分类分析。

基于此,本文假设同一类中文文本数据集分布于一个子流形空间,利用郑春厚等已提出的有监督的LLE方法———局部线性判别嵌入方法(LocallyLinearDiscriminantEmbedding,LLDE)[12],对中文文本分类进行研究。LLDE通过构造一个向量转换和距离标度模型,从而提高原始LLE算法的分类精度。该方法使得不同类样本距离更远,同类样本距离更近。同时,采用一种改进的最大间隔标准

。记Y=[Y1,Y2,…,Yn]∈Rd×n,

为嵌入空间中n点的对应集合,LLE方法概括描述如下:

步骤1:对于每一个数据点Xi,用KNN算法或ε邻域算法识别它的k个近邻;

步骤2:计算最优重建权重,使得样本点Xi的重建误差最小;

步骤3:计算X的低维嵌入Y,利用重建权重使其尽可能保持局部几何特征。

其中W=[Wij]n×n为重建权重矩阵。利用权重矩阵W,定义如下稀疏、对称的半正定矩阵:

M=(I-W)T(I-W)

2.2

改进的最大间隔标准

[14]

最大间隔标准(MMC)用于决定最优子空间,它

(1)

成功解决了小样本集问题。MMC方法目标函数如下:

J1=max{∑ijpipj(d(mi,mj)-s(mi)-s(mj))}

(2)

其中,pi和pj是类i和j的先验概率;mi和mj是类i和类j的重心;d(mi,mj),s(mi)和s(mj)定义如下:d(mi,mj)=‖mi-mj‖,s(mi)=tr(Si),s(mj)=tr(Sj)

(3)

其中,Si是第i类样本的散射,于是目标函数可以重

—132—·第37卷2014年第2期·

上一页第2页

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email