文本分类中的两个关键问题,算法和特征提取。贝叶斯算法是最有效的文本分类算法之一,但是属性间强独立性的假设在现实中并不成立,借鉴概率论中的多项式模型提出了一种改进型的贝叶斯方法;传统的特征抽取方法有词频法、互信息法、CHI统计、信息增益法等,然而上述方法对于词条的权重未作考虑,引进了权重的表征方式,给出了改进方法,由实验证明了通过以上方面的改进,文本分类
维普资讯 doc.guandang.net
p GI c ( G) ( op司 朴素贝叶斯分类器将未知样本归于类的依据,如下
() 4
量空间的维数也相当大,可以达到几万维,因此我们需要进行
维数压缩的工作,这样做的目的主要有两个;
pGl盯 a妇( *(},…, (= g x I pC, 2七 m 3产1,
( 5 )
()了提高程序的效率, 1为提高运行速度:
文档由其包含的特征词表示,即=(,, , ) …,…,,
()有几万个词汇对文本分类的意义是不同的, 2所一些通用的、各个类别都普遍存在的词汇对分类的贡献小,在某特定类中出现比重大而在其它类中出现比重小的词汇对文本分类 的贡献大,了提高分类精度,为对于每一类,我们应去除那些
m的特征词个数I是第,是司,个特征词,由特征独立性假设,得 p f (,, ) f ( G) C) ( …, l ) = C l () 6
式中:( If p ) c表示分类器预测单词在类 c的文档中发生的 f概率。因此式 (
可转换为 2 )
表现力不强的词汇,筛选出针对该类的特征项集合,如下存在
pcI c(‘I( ) (f pG) p I 。 r c f 率估计。
( 7 )
多种筛选特征项的算法。 21词频法 .
为了避免式 () 7中的p I等于 0可以采用拉普拉斯概 ( G),
文档频率(o u nf q ec, F只的是词条出现在文档 d cmet euny D ) r中的数目。该方法基于这样一个假设:高于某个阈值的词称之为高频词,反之称为低频词,选择高频词作为表征该文档 的特征。
1改进后的贝叶斯方法:基于多项式 . 2 考虑到文本属性之间非独立,容易导致高维空间里建模难度的增大。朴素贝叶斯方法利用属性之间强独立性的假设来简化模型,从而达到降低学习复杂性的目的。 除了假设属性之间强独立性之外,还可以通过引用隐含
词频法是晟简单的一种技术,其缺点也显而易见:在信息 研究中,往往低频词对文档分类的贡献比高频词大得多;高频词同时出现在不同类的概率也较大。这是相当朴素的一种方 法,用较少。应
变量的方法来简化属性之间的联系,这样可使得多个测量变 量相对于中间变量独立,从而简化了模型。当然,隐含变量值 的确定并不容易,并且会使问题求解变得繁琐。
22互信息 ( ta ifr t n . muu lno mai ) o
若求出了p f整个分类问题就能解决了, c),但是,我们不 知道证据的确切分布,该方法就不能够使用。由概率学知识
词类J信表为g】中( )和另互息示 l I的 0【,, 其尸=吲 ,
尸 (
为隗中出现的}重为该类匕
可以知道,在实验次数较大的情况下,很多事件服从正态分布、二项式分布、泊松分布等。们可以选取其中之一作为文我 本各属性的分布规律。在各个领域中,这些分布都获得了很
的训练文本数, ( )Ⅳ为词,在中的词频,为总词数, I ∑∑ (,)Ⅳ 为该类所有词的词频和。
而P计算词在所有训练文本中的比重, (其中,为全体 训练文本数。 23 C方法 . HI
好的统计效果,因而我们不妨引用之。在本文中,引入多项式模型。 在多项式模型中,假设每个文档与每个类的概率服从多 项式分布,与文档的其它属性没关
系。 设D表示带有类别标注的训练集,表示了训练文集中 I DI
对于每个词,计算词和类别的 C I H统计为
坚二:里星 + (+ ) 8(+ ) o D十 ) D c
的文档数目,表示特征集。则, fW出现0类文档中的 w∈在 概率为 l∑’ I)+ M p
其中:——文档总数,——某一特定的类别, N c卜__特定的词条,——属于 c且包含 t A类的文档频数,——不属于 c B 类但是包含 t文档频数,的 档频数, 属于 c是不包含 t但的文
pw1=—韦玎—一 (,—— —— 1+ M *( d wlz∑ p c, A) 式中: M——文档在中出现的次数,( d pc卜 A中文档属于类别的概率。 设琨带分类的测试文档集,据贝叶斯定理,根每个文档 ∈嘱于c C的概率为 j E pcd= (, A)式中:
既不包含 t不属于 C的文档频数。也类
24信息增量 ( fr t ng i) . i o mai a n o n在训练集通过文档 C中出现和不出现词条 t来表示 t对文档的增益程度。词条的信息增量如下 m (=: clg ( p t ̄ (llg (—十 t一∑: pc+ ( X. ctop cf ) () o ) ),, p ) I )
pf (Iopct (∑ ) g(I ) t l, ) 其中:c p『 (卜 c f类文档在语料中出现的概率,( pf卜语料中 包含词条t的文档的概率,(l——文档包含词条t p凸f )是属于
p=M l (群,。硎[] I d。 p白=∑ (,,II ()盘pcd/ l)D pd) () ( J (= 0 c )
类的条件概率,(——语料中不包含词条t文档的概率, pf )的 pc——文档不包含词条是属于西 (I,的条件概率,r一类别数。,,
25改进后的 C:增加权重 . HI分析 C IMII法, H、、 G算我们可以知道:条和文档之问词 的关系只是通过文档是否包含词条表征,于词条的权重未对作考虑。在一篇文档出现 1的词条和出现一次的词条对 0次
如果o=鹕 ma p 0,文档划归到0中, x (I将 )类就完成了 对文档的分类作用。
2特征抽取 构成文本的词汇,数量是相当大的,因此,示文本的向表
文档分类贡献不能同日而语。在我们的改进算法中应该包 括此项。 词语权重的计算需要考虑以下几个因素: -——
4 47 - 7——

基于贝叶斯的文本分类方法研究_IT/计算机_专业资料。基于贝叶斯的文本分类方法研究山西大学 硕士学位论文 基于贝叶斯的文本分类方法研究 姓名:史瑞芳 申请学位级别:...
2006 基于贝叶斯的文本分类方法罗海飞, 吴摘 刚, 杨金生 ( 上海交通大学 软件学院,上海 200240) 要: 文本分类中 的两个关键问题 , 算法和特征提 取。贝叶斯...
55 贝叶斯文本分类方法研究石洪波 王志海 黄厚宽 [ 摘 ] 朴素贝叶斯分类器是当前流行的一种文本分 要 类算法 , 它的简易性使其适合于处理属性个数较多的分类...
2007 一种改进的贝叶斯文本分类方法张玉芳, 陈剑敏, 熊忠阳 ( 重庆大学 计算机学院, 重庆 400030) 摘要: 朴素贝叶斯分类 ( na ive B ayes) 有一个 “独立...
浅析贝叶斯方法在文本分类中的应用_专业资料。贝叶斯分类算法是基于贝叶斯全概率公式的分类算法,是一种简单有效的分类方法.本文系统的介绍贝叶斯分类算法的原理及...
分类算法是针对Wb e 文本分类而提出的一种基于简单贝叶斯文本分类方法,它利用了简单贝叶斯分类的基本原理,大大简化了构造贝叶斯网络的复杂性;又 引用了潜在语义分析的...
基于朴素贝叶斯的文本分类算法摘要:常用的文本分类方法有支持向量机、K-近邻算法和朴素贝叶斯。其中朴素贝叶斯具有 容易实现,运行速度快的特点,被广泛使用。本文详细...
基于朴素贝叶斯的文本分类_互联网_IT/计算机_专业资料 暂无评价
集,并将估计出的参数的平均值作为训练得到的参数对未知文本进行分类.公共文本实验数据集上的实验结果表明,该文提出的训练方法相对于传统的朴素贝叶斯分类器训练方法...
一种基于改进贝叶斯算法的Web文本分类方法_专业资料。针对基于互补贝叶斯的分类算法在数据倾斜分布时由于过学习现象导致分类准确度不理想的状况,提出一种改进的互补...
热门文档