情报理论与实践(ITA)
欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟●范少萍
1,2,3
,李迎迎4,郑春厚4
国家科学图书馆兰州分馆,甘肃兰州
日照276826)
兰州
730000;2.中国科学院
资源环境科学信
信息技术与
730000;3.中国科学院大学,北京
100049;4.曲阜师范大学
(1.中国科学院息中心,甘肃传播学院,山东
基于局部线性判别嵌入算法的中文文本分类研究
摘
要:流形学习算法作为一种非线性降维方法,目标是发现嵌入在高维数据空间中的低维流形结构,并给出一个
低维表示。文章尝试将流形学习算法应用于中文文本分类领域,利用局部线性判别嵌入方法对所选文本数据集进行特征降维。然后,分别利用K近邻分类器(KNN),支持向量机分类器(SVM)对文本进行分类实验。实验结果证明该方法是有效可行的,进一步验证了中文文本空间向量数据符合流形分布。
关键词:流形学习;文本分类;算法
Abstract:Manifoldlearningalgorithm,asanon-lineardimensionalityreductionmethod,aimstofindthelow-dimensionalmanifoldstructureembeddedinthehigh-dimensionaldataspace,andgivealow-dimensionalrepresentation.ThepaperattemptstoutilizethemanifoldlearningalgorithmintheChinesetextclassificationdomain,andusesthelocallylineardiscriminantembeddingNearestNeighbor(KNN)methodforfeaturedimensionreductionoftheselectedtextdatasets.Andthen,thepaperusestheK-classifierandtheSupportVectorMachine(SVM)classifierrespectivelyfortextclassificationexperiment.Theexperimentalresultsshowthatthemethodiseffectiveandfeasible,andfurtherprovethatthevectordataofChinesetextspaceisconsistentwiththemanifolddistribution.
Keywords:manifoldlearning;textclassification;algorithm文本分类是文本挖掘领域的重要研究内容。现有的文本分类方法大多是在基于特征和文档类别密切相关的假设下,利用向量空间模型对文档进行描述与表示
[1]
nentAnalysis,PCA),线性判别分析(LinearDiscriminantAnalysis,LDA),独立分量分析(IndependentComponentAnalysis,ICA)等,常用的非线性方法主要基于流形学习算法,如等距特征映射(IsometricFeatureMapping,ISO-MAP),局部线性嵌入(LocallyLinerEmbedding,LLE),拉普拉斯特征映射(LaplacianEigenmaps,LE)等。
在文本分类领域,目前已有一些基于流形学习的文本分类研究。杨震等将ISOMAP流形降维等高度非线性的方法引入文本挖掘领域
[3]
。在向量
空间模型中,一篇文档表示为特征空间中的一个点,可以表示为一个向量,其中,每个元素表示文档的一个特征,通常是特定词语,它的值对应该词在文档中的权值,一般用TFIDF表示。如果有n篇文档,每篇考虑m个词语,就形成一个n×m的文本矩阵。然而,文档的特征维数往往比较大,但并不是每一个特征对文本分类都起重要作用。因此,有必要对文档特征进行选择,保留那些能够代表文档类别信息的特征,从而提高文本分类的速度及准确率,即进行文本特征选择。用于特征选择方法大致有两类
[2]
。随后,夏士雄等针对局部线性嵌
入算法(LLE)的缺陷,将该方法与半监督思想相结合,提出了一种基于半监督局部线性嵌入算法的文本分类方法,并通过仿真实验验证改进算法的有效性
[4]
。但该方法
:一类是基于频率统计方法,如特征频度和文档频
2
在如何选择近邻参数K上还有待于进一步研究。任剑锋等为解决文本分类问题,提出了一种流行学习和支持向量机相结合的文本分类算法
[5]
度;另一类是基于特征与文本、特征与类别信息之间相关度统计的方法,如特征熵、互信息、信息增益、X统计量、特征权、期望交叉熵、文本证据权、几率比等。但每种特征选择方法又都存在其不足之处。
高维数据降维处理的另一种常用方法是特征抽取。模式识别领域常用的特征抽取方法分为线性方法和非线性方法。常用的线性方法主要有主成分分析(PrincipalCompo-
。王洪元等改进了局部线性嵌
[6]
入算法,并将新方法应用于中文文本分类中,并经实验证明了改进的LLE算法对中文文本分类的有效性
。虽然
从一定程度上减小了领域参数对降维效果的影响,但并没有彻底解决这个问题。张国栋等为解决文本分类中存在的维数灾难、数据集噪声等问题
[7]
,提出一种利用非线性维
·第37卷2014年第2期·—131—
其研究成果已经广泛 应用于网页检索和文本分类、数字...算法基础上改进的自训练算法, 基于产生式模型的算法...局部线性回归模型构建的具体步骤如下 1从嵌入矢量训练...
( 1. 中国电子科技集团公司 第二十八研究所 ,南京...因此在 实验部分将选取文本数据集以验证本文算法 。...分类精度比较 第 10 期 崔自峰等 : 基于线性判别...
为了解 决 PCA 算法不利于分类的问题,提出了线性判别分析(LDA)算法。 1.2 基于线性判别分析(LDA)的人脸识别 线性判别分析(LDA)是基于统计学算法中另一经典算法...
该文提出了一种基于马氏距离的线性判别分析分类算法,选取判别函数为马氏距离,可以...嵌入播放器: 普通尺寸(450*500pix) 较大尺寸(630*500pix) 预览复制 收藏此文档...
给定分类体系下, 根据文本内容自动判别 , 文本类别...网络可以充分逼近任意复杂的非线性关系, 适于分类曲面...算法, 它基于对相对词频的计算: 特征词条在某文档...
基于Fisher线性判别模型的文本特征选择算法_专业资料。在采用向量空间模型表示方法的文本分类系统中,维数约简是必要的步骤,特征选择方法由于计算复杂度较低而被广泛采用...
结合相应算法而得出的判 别式或判别规则 , 然后再应用于新的待测文本 , 根 ...1. 3 特征提取 SVM 是从线性可分情况下的最优分类面发展 而来的, 基本思想...
基于小样本条件下线性判别分析图像增强算法研究_数学_自然科学_专业资料。第1 3卷 第 6期 201 3年 2月 科 学 技 术 与 工 程 V01.13 No.6 Feb.2Ol3...
离散粒子群优化-贝叶斯线性判别分析算法用于视觉事件相关电位P300的分类_专业资料。P300在头皮上的导联位置并不明确,目前对P300的分类研究中,采用的电极组合各不相同,...
基于 改进 的P A算 法和 Fse线性 Cirh 判别 的掌纹识别研究 李静雯 ( 四川理工学院计算机 学院, 四川 自贡 630)400 摘要: 掌纹识别技术是生物特征 识别技 ...
热门文档