文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 信息与通信 > 基于朴素贝叶斯分类模型的文本特征选择研究
侵权投诉

基于朴素贝叶斯分类模型的文本特征选择研究

I S SN 1 0 0 9— 3 0 4 4

E- ma i l: e d u f@d n z s . n e t . c n h t t p:// ww w. d n z s . n e t . c n Te 1:+86 -5 5 1—65 69 0 963 6 5 69 09 64

C o m p u t e r K n o w l e d g e a n d T e c h n o l o g y电脑知识与技术 Vo 1 . 1 0, No . 1, J a n ua r y 2 01 4

基于朴素贝叶斯分类模型的文本特征选择研究 潘光强,周军,何洋 (国防科学技术大学,湖南长沙 4 1 0 0 7 3 )

摘要:该文主要对文本自动分类的特征选择方法进行了讨论,分析了几种常见方法存在的缺陷,指出影响出文本特征选择 的两个重要因素——特征项在类别内的文档频率和在类别间的分布差异,并以这两个因素为影响因子分别对 T F— I DF和 I G方法进行了改进。另外还介绍了朴素贝叶斯分类模型,并基于此模型对改进的特征选择方法的分类效果进行评估。实

验结果表明,改进后的方法能够强化特征项在特定类别中的影响力,提高文本分类效果。 关键词:文本分类;特征选择 中图分类号: T P 3 1 1 文献标识码: A文章编号: 1 0 0 9— 3 0 4 4 ( 2 0 1 4 ) 0 1— 0 1 3 3— 0 5

1概述 文本特征选择 ( T e x t F e a t u r e S e l e c t i o n )是文本自动分类过程 (图1 )中的重要环节。文本自动分类 ( A u t o ma t i c T e x t C a t e g o r i z a t i o n ) 是指运用计算机技术,在预先定义的分类体系下,根据待分类文档内容,将其归属为一个或多个类别的处理过程。文本自动分类技术的研究始于 2 0世纪5 0年代,至今出现了基于不同理论的多种分类模型,在这些模型中,用向量空间模型 ( V S M)来表示文档[ 5 1比如,用T表示文档包含的词汇集合,用每个词及其在文本中的权重作为特征项,则可将一篇文档表示为向量 d= ( t t,…t m ) ( t, E T, l≤i≤ m),然后根据文档向量和类别向量计算出相似度,从而确定文档所属类别。文本特征选择是从高维文本特征集合中筛选出 一

部分特征组成一个低维的向量空间的过程。那么为什么要进行特征选择,

是不是维数越高分类效果就越好呢?事实并非如

此。一篇文档往往包含数百乃至成千上万个词条,对于语料训练集来说,词条数目更是达到百万级甚至更多。高维的特征,不仅

增加了机器学习的负担,提高分类的计算复杂度,而且,过高的特征维数反而有可能降低分类的准确性 f 6 1,形成“高维灾难”。这是因为在整个特征集合中,有很多词在各个类别的文档中出现的频率差别不明显甚至几乎一样,类别区分能力很弱。还有一些词只在极少数的文档中出现,也不能作为类别划分的参考。文本特征选择目标就是去除这些对区分类别没有作用的特征项。对文本进行降维处理,不仅可以提高分类的效果,而且能够有效降低分类过程的计算复杂度,大大节省了时间成本。从图 1可以看出,特征选择是产生文本特征向量的前提,直接影响模型训练的质量和分类的效果。该文将分析目前特征选择方法存在的问题,讨论影响特征选择的因素,提出改进方法,并用朴素贝叶斯模型对其分类效果进行评估。

累—+

图 1文本自动分类过程示意图

2相关研究 2 . 1特征选择方法

对于不同的分类算法,应采用不同的特征选择方法以达到较为理想的分类效果。用于文本分类的特征统计量有:特征频率

( T e r m F r e q u e n c y,简称 T F )、文档频率 ( D o c u m e n t F r e q u e n c y, D F )、信息增益、 x 统计量、互信息等等。下面介绍几种常用的特征选择方法,并讨论这些方法存在的缺陷。 2 . 1 . 1 T F、 DF和 T F— I D F

T F是特征 t在文档集中出现的频率,计算方法是 t f= t出现的次数÷文档集中总词数 (含重复 )。D F是包含特征 t的文档的频率,

收稿日期: 2 0 1 3—1 2— 0 2

作者简介:潘光强( 1 9 8 5 -),硕士,研究方向为网络安全,数据挖掘。 本栏目责任编辑:唐一东 *人工智能及识别技术… 1 3 3

基于朴素贝叶斯分类模型的文本特征选择研究

第1页

你可能喜欢

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email