文本分类中的两个关键问题,算法和特征提取。贝叶斯算法是最有效的文本分类算法之一,但是属性间强独立性的假设在现实中并不成立,借鉴概率论中的多项式模型提出了一种改进型的贝叶斯方法;传统的特征抽取方法有词频法、互信息法、CHI统计、信息增益法等,然而上述方法对于词条的权重未作考虑,引进了权重的表征方式,给出了改进方法,由实验证明了通过以上方面的改进,文本分类
维普资讯 doc.guandang.net
第 2卷第 2期 7 4 V0. 127
计算机工程与设计 Co p trEn ie rn n sg m ue gn e iga dDe in
20年 1月 06 2 D e .2 0 c 06
NO 2 .4
基于贝叶斯的文本分类方法 罗海飞,昊刚,杨金生 (海交通大学软件学院,上海 204)上 020 摘要:文本分类中的两个关键问题,算法和特征提取。贝叶斯算法是最有效的丈本分类算法之一, l但是属性间强独立性的 假设在现实中并不成立,鉴概率论中的多项式模型提出了一种改进型的贝叶斯方法;统的特征抽取方法有词频法、互借传 信息法、 H统计、息增益法等, CI信然而上述方法对于词条的权重未作考虑,引进了权重的表征方式,出了改进方法。由实给 验证明了通过以上方面的改进,文本分类的正确率得到了提高。 关键词:文本分类;特征抽取;贝叶斯;多项式:统计
中图法分类号:P S T I1
文献标识码: A
文章编号:0072 (06 2-76 3 10— 420)4 4- 0 4 0
W a f e t l si c t nb s do y s y o x a sf ai a e n Ba e t c i o LUO i e, W U n, Y Ha- i f Ga g ANG i-h n Jn s e g
(c o l f o w r n ier g hn h ii tn i r t h n h i 0 2 0 C ia S h o o f ae g ei,S ag a J oo g v s y ag a 2 0 4, h ) St E n n a Un e i,S n Ab t a t woi otn co sntx ls i ct naedsu sd-ag r h a dfauea s a t n h r cia y sa lo tm sr c:T mp r t a tr t a sf ai r ic se - l oi m n tr b t ci .T ep at l a f i e c i o - t e r o c Ba ei ag r h n i h s na smpino s o gid p n e c f i ee t rp ris damo i e a a su t o f t n n e e d n eo df rn p o et a r en df dwa np ln m il sn o u e . I e tr b ta t n i yo oy o a i it d c d nF auea srci, r o df rn y f bta t
gfau e edsu s da da o i e a e nwo dweg t sn o u e . Atath x ei n s h w i ee t wa s a srci trsa ic se df dCHI s do r ih t d c d o n e r n m i b i ir s ee p rme t o l t s
se a o rc aeo tx ls i c t ni i rv d e nt tc re t t fe t a sf ai mp o e . h r c i o s Ke r s tx lsi c t n fauea s a t n; Ba e; p ln mil sait ywo d: e t a sf ai; etr b t ci c i o r o ys oy o a; ttsi c
0引言 常见的分类器有简单向量距离、 NN、经网络、 K神贝叶斯分类器等“。中贝叶斯分类器是基于贝叶斯学习方法的分 其类器,原理虽然较简单,是其在实际应用中很成功。其但贝叶 斯算法有一个很重要的假设,是很强的属性间条件独立,就
息结合在一起。在没有任何先验信息的情况下,可以采用贝叶斯假设将 PM) (看作均匀分布。种情况下模型选择问题可这 以进一步化简为似然函数 P DI的优化问题:r ma PM l ( M) ag x ( D) r maM ̄D力=ag x J ^
为了比较不同模型的优劣,通常采用贝叶斯因子Bz a e B y- ( s nfc r: 1— ( I )PDI i t )B2 p£M, ( MO。 a ao )
而事实上属性之间独立性很弱,为了弥补该假设的不足,在本 文提出了一种基于多项式分布的贝叶斯方法。
1朴素贝叶斯方法 . 1 设训练样本集分为七,为C- c,2 }则每个类类记 -。,{ C…,, G的先验概率为p G)i 1,七 (,=,…,,其值为G类的样本数除以 2
文本特征的提取有词频法、互信息、 H统计、息增量 CI信 表示等方法。本文分析了上述方法的优缺点。而提出了进 一
训练集总样本数 n对于新样本d其属于 G类的条件概率是, p C) f。
种该进型的 C I H。
1贝叶斯方法 模型选择问题可以表述为在给定的数据样本和相关参数信息的条件下,寻求具有最大后验概率的模型。在给定的样本 D下,某一模型 M的后验概率与 M的先验概率和似
然函 数的乘积成比例,因而模型选择问题可以表示成下面的优 化问题
根据贝叶斯定理, G类的后验概率为 p CI (= ( f G) (,) GI p C ( ( d p对于所有类均为常数,以忽略, (可则式() 1简化为 G ( ( G) G) () 2
() I
为避免pC) (f等于 0采用拉普阿斯概率估计, p G)(+D CI( II C) (: 1 l, I+ ) C D* I/ () 3 式中: J q——训练集中类的数目, G I O J——训练集中属于类 G
a a r xMPM I=ag x ̄ Dl gm ( D) r maa
的文档数, q——训练集包含的总文档数。 p+在特殊情况下, 训练样本集中各类样本数相等,时类的先验概率相等, 2此式() 可以简化
贝叶斯方法下的模型选择通过选取适当的模型先验分布 P M)可将人类专家的知识和给定的样本数据中提供的信 (,
收稿日期:20一l 2 0 5l 2。一作者简介:罗海飞 (99 ), 17-,男湖北武汉人,硕士,究方向为嵌入式;吴刚,男,教授,研究方向为操作系统;杨金生,男,副教授,研研 究方向为操作系统。 ———
47 - 46——

基于贝叶斯的文本分类方法研究_IT/计算机_专业资料。基于贝叶斯的文本分类方法研究山西大学 硕士学位论文 基于贝叶斯的文本分类方法研究 姓名:史瑞芳 申请学位级别:...
2006 基于贝叶斯的文本分类方法罗海飞, 吴摘 刚, 杨金生 ( 上海交通大学 软件学院,上海 200240) 要: 文本分类中 的两个关键问题 , 算法和特征提 取。贝叶斯...
55 贝叶斯文本分类方法研究石洪波 王志海 黄厚宽 [ 摘 ] 朴素贝叶斯分类器是当前流行的一种文本分 要 类算法 , 它的简易性使其适合于处理属性个数较多的分类...
2007 一种改进的贝叶斯文本分类方法张玉芳, 陈剑敏, 熊忠阳 ( 重庆大学 计算机学院, 重庆 400030) 摘要: 朴素贝叶斯分类 ( na ive B ayes) 有一个 “独立...
浅析贝叶斯方法在文本分类中的应用_专业资料。贝叶斯分类算法是基于贝叶斯全概率公式的分类算法,是一种简单有效的分类方法.本文系统的介绍贝叶斯分类算法的原理及...
分类算法是针对Wb e 文本分类而提出的一种基于简单贝叶斯文本分类方法,它利用了简单贝叶斯分类的基本原理,大大简化了构造贝叶斯网络的复杂性;又 引用了潜在语义分析的...
基于朴素贝叶斯的文本分类算法摘要:常用的文本分类方法有支持向量机、K-近邻算法和朴素贝叶斯。其中朴素贝叶斯具有 容易实现,运行速度快的特点,被广泛使用。本文详细...
基于朴素贝叶斯的文本分类_互联网_IT/计算机_专业资料 暂无评价
集,并将估计出的参数的平均值作为训练得到的参数对未知文本进行分类.公共文本实验数据集上的实验结果表明,该文提出的训练方法相对于传统的朴素贝叶斯分类器训练方法...
一种基于改进贝叶斯算法的Web文本分类方法_专业资料。针对基于互补贝叶斯的分类算法在数据倾斜分布时由于过学习现象导致分类准确度不理想的状况,提出一种改进的互补...
热门文档