信息系统
欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟
数约简算法结合K近邻分类器(KNN)的文本分类算法,并通过实验证明该算法能够有效提高文本分类精度。
上述研究都将流形学习算法应用到中文文本分类研究中,从不同程度、不同方面对算法进行了改进,取得一定的研究成果,这说明基于流形学习的非线性特征抽取方法应用于中文文本分类研究中是有效可行的。但不同算法在提高文本分类精度的同时,又存在如忽略文本分类的时间复杂度问题,各参数取值等问题,特别是近邻参数K取值等问题。基于此,本文充分利用已知文本类别的先验信息,尝试使用新的流形学习算法并应用于中文文本分类,以期提高中文文本分类的准确性及效率。
(ModifiedMaximizingMarginCriterion,MMMC)来自动决定最优转换和标度值。在LLDE方法中,分类信息被用于寻找最优转换向量。
2局部线性判别嵌入方法
文本分类的主要任务是根据已有的文本数据信息训练
高性能的分类器,从而实现对新的未知类别文本的自动分类。其中,文本特征抽取是实现对高维文本数据进行降维的主要步骤与方法,文本特征抽取算法的好坏直接影响了文本分类的效果。利用特征抽取方法降维的目的是将高维数据投影到低维特征空间,使得不同类别的样本可以被简单地分类。在流形学习算法中,LLE方法及其部分改进算法已经应用到文本分类领域并取得一定成果。原始的LLE算法对于采样于单个流形的文本数据可以得到较好的低维嵌入,是一种可以有效地将高维数据投影到低维空间的可视化降维方法。然而,LLE在进行特征提取时不能直接利用训练集的类别信息,从而导致分类效率降低。针对LLE方法的这一弊端,LLDE方法充分利用类标签优势以改进原始LLE方法的分类能力。2.1
局部线性嵌入
LLE假设流形上每一个局部邻域内的任意一点都可以描述为领域内其他点的线性表示,各个领域之间的连接信息也可以通过相互重叠的部分加以描述,这种线性关系在映射时保持不变
[13]
1流形学习算法概述
美国“Science”杂志在2000年连续发表了3篇从认
知角度提出和讨论流形学习的研究课题,首次使用术语“ManifoldLearning”(流形学习),并给出可行有效的算法,提供了一个新的降维方法的研究方向,掀起了流形学习研究的热潮
[8]
。由于流行学习能够对训练集中的高维
数据空间进行非线性降维,揭示其流形分布,找出隐藏在高维观测数据中有意义的低维结构,以便从中提取易于识别的特征。因此,流形学习在智能信息处理和模式识别中有十分重要的应用前景分类等领域。
流形学习的基本思想为
[10]
[9]
,并成功应用在人脸识别、肿瘤
:高维观测空间中的点是
由少数独立变量的共同作用在观测空间张成一个流形,如果能有效地展开观测空间卷曲的流形或发现内在的主要变量,就可以对该数据集进行降维。例如,在人脸识别方法中,一组人脸图像集可以包括人脸的多种姿态、位置、规模和光照条件,这些参数被看作是人脸流形(theFaceManifold)中的重要特征。使用流形学习方法,就可以将观测到的高维数据映射到一个低维特征流形空间。
经典的流形学习算法主要有等距特征映射、局部线性嵌入、拉普拉斯特征映射、局部保持投影(LocalPreser-vingProjection,LPP)[11]等。其中,LLE算法是最具代表性的流形学习方法。但往往由于近邻K选择不当,容易造成多个子流形之间的重叠,不能得到满意的低维嵌入,同时,原始的LLE算法无法直接用于分类分析。
基于此,本文假设同一类中文文本数据集分布于一个子流形空间,利用郑春厚等已提出的有监督的LLE方法———局部线性判别嵌入方法(LocallyLinearDiscriminantEmbedding,LLDE)[12],对中文文本分类进行研究。LLDE通过构造一个向量转换和距离标度模型,从而提高原始LLE算法的分类精度。该方法使得不同类样本距离更远,同类样本距离更近。同时,采用一种改进的最大间隔标准
。记Y=[Y1,Y2,…,Yn]∈Rd×n,
为嵌入空间中n点的对应集合,LLE方法概括描述如下:
步骤1:对于每一个数据点Xi,用KNN算法或ε邻域算法识别它的k个近邻;
步骤2:计算最优重建权重,使得样本点Xi的重建误差最小;
步骤3:计算X的低维嵌入Y,利用重建权重使其尽可能保持局部几何特征。
其中W=[Wij]n×n为重建权重矩阵。利用权重矩阵W,定义如下稀疏、对称的半正定矩阵:
M=(I-W)T(I-W)
2.2
改进的最大间隔标准
[14]
最大间隔标准(MMC)用于决定最优子空间,它
(1)
成功解决了小样本集问题。MMC方法目标函数如下:
J1=max{∑ijpipj(d(mi,mj)-s(mi)-s(mj))}
(2)
其中,pi和pj是类i和j的先验概率;mi和mj是类i和类j的重心;d(mi,mj),s(mi)和s(mj)定义如下:d(mi,mj)=‖mi-mj‖,s(mi)=tr(Si),s(mj)=tr(Sj)
(3)
其中,Si是第i类样本的散射,于是目标函数可以重
—132—·第37卷2014年第2期·
其研究成果已经广泛 应用于网页检索和文本分类、数字...算法基础上改进的自训练算法, 基于产生式模型的算法...局部线性回归模型构建的具体步骤如下 1从嵌入矢量训练...
( 1. 中国电子科技集团公司 第二十八研究所 ,南京...因此在 实验部分将选取文本数据集以验证本文算法 。...分类精度比较 第 10 期 崔自峰等 : 基于线性判别...
为了解 决 PCA 算法不利于分类的问题,提出了线性判别分析(LDA)算法。 1.2 基于线性判别分析(LDA)的人脸识别 线性判别分析(LDA)是基于统计学算法中另一经典算法...
该文提出了一种基于马氏距离的线性判别分析分类算法,选取判别函数为马氏距离,可以...嵌入播放器: 普通尺寸(450*500pix) 较大尺寸(630*500pix) 预览复制 收藏此文档...
给定分类体系下, 根据文本内容自动判别 , 文本类别...网络可以充分逼近任意复杂的非线性关系, 适于分类曲面...算法, 它基于对相对词频的计算: 特征词条在某文档...
基于Fisher线性判别模型的文本特征选择算法_专业资料。在采用向量空间模型表示方法的文本分类系统中,维数约简是必要的步骤,特征选择方法由于计算复杂度较低而被广泛采用...
结合相应算法而得出的判 别式或判别规则 , 然后再应用于新的待测文本 , 根 ...1. 3 特征提取 SVM 是从线性可分情况下的最优分类面发展 而来的, 基本思想...
基于小样本条件下线性判别分析图像增强算法研究_数学_自然科学_专业资料。第1 3卷 第 6期 201 3年 2月 科 学 技 术 与 工 程 V01.13 No.6 Feb.2Ol3...
离散粒子群优化-贝叶斯线性判别分析算法用于视觉事件相关电位P300的分类_专业资料。P300在头皮上的导联位置并不明确,目前对P300的分类研究中,采用的电极组合各不相同,...
基于 改进 的P A算 法和 Fse线性 Cirh 判别 的掌纹识别研究 李静雯 ( 四川理工学院计算机 学院, 四川 自贡 630)400 摘要: 掌纹识别技术是生物特征 识别技 ...
热门文档