I S SN 1 0 0 9— 3 0 4 4
E- ma i l: e d u f@d n z s . n e t . c n h t t p:// ww w. d n z s . n e t . c n Te 1:+86 -5 5 1—65 69 0 963 6 5 69 09 64
C o m p u t e r K n o w l e d g e a n d T e c h n o l o g y电脑知识与技术 Vo 1 . 1 0, No . 1, J a n ua r y 2 01 4
基于朴素贝叶斯分类模型的文本特征选择研究 潘光强,周军,何洋 (国防科学技术大学,湖南长沙 4 1 0 0 7 3 )
摘要:该文主要对文本自动分类的特征选择方法进行了讨论,分析了几种常见方法存在的缺陷,指出影响出文本特征选择 的两个重要因素——特征项在类别内的文档频率和在类别间的分布差异,并以这两个因素为影响因子分别对 T F— I DF和 I G方法进行了改进。另外还介绍了朴素贝叶斯分类模型,并基于此模型对改进的特征选择方法的分类效果进行评估。实
验结果表明,改进后的方法能够强化特征项在特定类别中的影响力,提高文本分类效果。 关键词:文本分类;特征选择 中图分类号: T P 3 1 1 文献标识码: A文章编号: 1 0 0 9— 3 0 4 4 ( 2 0 1 4 ) 0 1— 0 1 3 3— 0 5
1概述 文本特征选择 ( T e x t F e a t u r e S e l e c t i o n )是文本自动分类过程 (图1 )中的重要环节。文本自动分类 ( A u t o ma t i c T e x t C a t e g o r i z a t i o n ) 是指运用计算机技术,在预先定义的分类体系下,根据待分类文档内容,将其归属为一个或多个类别的处理过程。文本自动分类技术的研究始于 2 0世纪5 0年代,至今出现了基于不同理论的多种分类模型,在这些模型中,用向量空间模型 ( V S M)来表示文档[ 5 1比如,用T表示文档包含的词汇集合,用每个词及其在文本中的权重作为特征项,则可将一篇文档表示为向量 d= ( t t,…t m ) ( t, E T, l≤i≤ m),然后根据文档向量和类别向量计算出相似度,从而确定文档所属类别。文本特征选择是从高维文本特征集合中筛选出 一
部分特征组成一个低维的向量空间的过程。那么为什么要进行特征选择,
是不是维数越高分类效果就越好呢?事实并非如
此。一篇文档往往包含数百乃至成千上万个词条,对于语料训练集来说,词条数目更是达到百万级甚至更多。高维的特征,不仅
增加了机器学习的负担,提高分类的计算复杂度,而且,过高的特征维数反而有可能降低分类的准确性 f 6 1,形成“高维灾难”。这是因为在整个特征集合中,有很多词在各个类别的文档中出现的频率差别不明显甚至几乎一样,类别区分能力很弱。还有一些词只在极少数的文档中出现,也不能作为类别划分的参考。文本特征选择目标就是去除这些对区分类别没有作用的特征项。对文本进行降维处理,不仅可以提高分类的效果,而且能够有效降低分类过程的计算复杂度,大大节省了时间成本。从图 1可以看出,特征选择是产生文本特征向量的前提,直接影响模型训练的质量和分类的效果。该文将分析目前特征选择方法存在的问题,讨论影响特征选择的因素,提出改进方法,并用朴素贝叶斯模型对其分类效果进行评估。
累—+
图 1文本自动分类过程示意图
2相关研究 2 . 1特征选择方法
对于不同的分类算法,应采用不同的特征选择方法以达到较为理想的分类效果。用于文本分类的特征统计量有:特征频率
( T e r m F r e q u e n c y,简称 T F )、文档频率 ( D o c u m e n t F r e q u e n c y, D F )、信息增益、 x 统计量、互信息等等。下面介绍几种常用的特征选择方法,并讨论这些方法存在的缺陷。 2 . 1 . 1 T F、 DF和 T F— I D F
T F是特征 t在文档集中出现的频率,计算方法是 t f= t出现的次数÷文档集中总词数 (含重复 )。D F是包含特征 t的文档的频率,
收稿日期: 2 0 1 3—1 2— 0 2
作者简介:潘光强( 1 9 8 5 -),硕士,研究方向为网络安全,数据挖掘。 本栏目责任编辑:唐一东 *人工智能及识别技术… 1 3 3

模型以及常用特征选择方法对朴素贝叶斯文本分类 的性能影响进行了详细的研究与分析;最后,设计并使用 Java 在 MyEclipse 平台上实现了基于朴素贝叶斯方法的中文文本分类...
放松了朴素贝叶斯的特征独立性假设 ; 在特征选择时...文本分类是信息处理领域重要的研究方向之一 ,其目标...因为 :1) 互信息是在统计语言模型中被广泛采用[ ...
Web文本挖掘中的文本分类研究.硕士论文.2007. [4] 罗志峰. 改进朴素贝叶斯文本分类器的特征选择方法探讨.硕士论 文.2009. [5] 宫秀军. 贝叶斯学习理论及其应用...
在自动文本分类系统中.特征选择是有效降低文本向量维数的一种方法。朴素贝叶斯文本分类模型是一种简单而高效的文本分类模型。提出一个新的评价函数,即互信息差值.将...
基于类别核心词的朴素贝叶斯中文文本分类_文学_高等...文本分类就是在给定的分类模型下 , 根据文本 [1 ...选取特征词后 , 用特征词的集合表 示每个文本 ,...
关键词: 朴素贝叶斯分类器, 关联特征, 特征筛选 中图分类号: T P 311 文献标识码: A 文章编号: 100022758 ( 2004) 0420413204 在文本分类研究中, 项集可以...
由于朴素贝叶斯分类器简单、高效而且对特征选择很敏感,因此,对用于该种分类器的特征选择方法的研究具有重要的意义。有鉴维普资讯 http://www.cqvip.com 2 20,41)...
可以用一个文本特征向量来表示,x=(Good, good, ...朴素贝叶斯分类器是一种有监督学习,常见有两种模型,...“朴素贝叶斯中文文本分类器的研究与实现(1)”,“...
[ 关键词 ] 文本分类 ; TAN ; 朴素贝叶斯 ; 贝叶斯网 ; 特征选择 一、 ...大多数分类方法是基于向量空间模型的 , 在该模型中 ,每个文档可看作是词 ( ...
基于朴素贝叶斯分类器的文... 8页 免费 朴素贝叶斯分类模型的研究... 57页...C.D 文本分类系统的组成一个典型的文本分类系统主要由文档预处理、 特征选择及...
热门文档