英语 期刊 贝叶斯

第41卷 第3期山 东 大 学 学 报 (理 学 版)
Vol.41 No.3JOURNALOFSHANDONGUNIVERSITY
文章编号:167129352(2006)0320046204
Jun.2006
2006年6月
基于类别核心词的朴素贝叶斯中文文本分类
袁 方,苑俊英
(河北大学 数学与计算机学院,河北 保定 071002)
摘要:从人工分类的角度看,标题、摘要及关键词中的词条对于文本分类具有更重要的作用.在此基础上提出了基于类别核心词的分类模式,从标题、摘要及关键词中提取类别核心词,通过加权方式,用.基于朴素贝叶斯分类方法的实验表明,.关键词:文本分类;朴素贝叶斯分类;类别核心词中图分类号:TP391 文献标识码:A
NaiveBayesbasedoncorewordsofclass
YUANFangandYUANJun2ying
(CollegeofMathematicsandComputerScience,HebeiUniv.,Baoding071002,Hebei,China)
Abstract:Fromtheviewofmanualclassification,wordsintitle,abstractandkeywordsaremoreimportantthanothers.Aclassi2ficationmodeisadvancedbasedoncorewordsofclass.Thisclassificationmodeextractscorewordsfromtitle,abstractandkeywords,andthesecorewords’effectisstrengthenedviathemodeofweight.TheexperimentofNaiveBayesclassificationindicatesthatthismethodcaneffectivelyimproveclassificationprecisionofChinesetexts.Keywords:textclassification;NaiveBayesclassification;corewordsoftheclass
0 引言
文本分类就是在给定的分类模型下,根据文本的内容让计算机自动判断文本类别的过程.从数学的角度来看,文本分类是一个映射过程,它将未知类别的文本映射到已有的类别中.自动文本分类技术已经应用于信息检索、信息抽取、信息过滤、数据组织、网上信息快速定位等多个领域.常用的文本分类方法有k2近邻(k2NN)方法、朴素贝叶斯(NaiveBayes)方法、神经网络(NN)方法、支持向量机(SVM)
[1]
立.从贝叶斯公式直观看来,文本的类别与特征词
的词频有很大关系,词频越大,说明该词越具有代表性.但实际情况并非如此,有些低频特征词可能更能代表类别特征,也就是说,词频并不足以完全代表某个词在分类中的重要程度.
人工分类文本时,我们更看重在标题、摘要、关键词中出现的词条.即认为,在标题、摘要和关键词部分出现的特征词的重要程度更高一些,它们能更好地代表该类文本的类别特征,我们将这些词称作类别核心词.本文的主要思路是:首先在文本分词的基础上选出每类的类别核心词;然后计算类别核心词相对于所有特征词的重要程度;最后在朴素贝叶斯分类方法中,将类别核心词的重要程度融合进来,对测试文本进行分类.实验表明,与传统的朴素贝叶斯分类方法相比,由于强化了类别核心词的作用,基于类别核心词的朴素贝叶斯方法更能有效
方法和决策树方法等.
朴素贝叶斯分类方法是一种简单有效的概率分类方法,在某些领域表现出很好的性能
[2,3]
.在中文
文本分类中,分词后用特征词向量形式来表示每个文本,朴素贝叶斯分类方法假定特征词之间相互独
收稿日期:2006203229
基金项目:河北省科技攻关计划资助项目(05213573)
),男,教授,主要研究领域为Web挖掘、作者简介:袁 方(19652 智能信息检索.
选取IG特征提取方法、改进的TF-IDF公式中特征词权重的计算方法,以建立词频矩阵等...实验数据表明,本文的基于朴素贝叶斯的中文海事文本多分类器具有很好的高效性和...
采用链状朴素贝叶斯分类器进行分类的中文 20 世纪 80 年代 ,自动文本分类技术的研究在国外兴起 , 早期的技术主要以基于知识工程 A Ch in ese Text C la ssif ...
运用朴素贝 叶斯理论阐述了贝叶斯分类器的样本训练和分类计算的过程,构造了一个文本分类器。试验表 明,朴素贝叶斯理论在文本分类中有较好的分类效果。 关键词:中文...
基于类别核心词的朴素贝叶... 0人阅读 4页 2.00元 基于朴素贝叶斯的渔业...更多>>文档的高维性导致朴素贝叶斯文本分类器的复杂度较高,进而影响到文本分类的...
基于朴素贝叶斯的文本分类_互联网_IT/计算机_专业资料 暂无评价
p(h/D)取决于 P(Dh)P(h)这个乘积,呵呵,这就是贝叶斯分类算法的核心思想...根据联合概率公式(全概率公式) M——训练文本集合中经过踢出无用词去除文本预...
基于n-gram语言模型和链状朴素贝叶斯分类器的中文文本分类系统_专业资料。本文... 基于类别核心词的朴素贝... 9人阅读 4页 2.00 基于K-均值聚类的朴素...
关键词 : 文本分类 ; 朴素贝叶斯 ; 特征抽取 ; 同义词 中图分类号 : TP ...1 测试集 实验选用的是复旦大学中文语料库 ,选取了 5 个主题类 : 艺术 、 ...
结合中文分词的贝叶斯文本分类_互联网_IT/计算机_专业资料。结合中文分词的... 基于类别核心词的朴素贝... 暂无评价 4页 2.00 基于类别核心词的朴素...
热门文档