文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 高等教育 > 文学 > 基于类别核心词的朴素贝叶斯中文文本分类
侵权投诉

基于类别核心词的朴素贝叶斯中文文本分类

英语 期刊 贝叶斯

基于类别核心词的朴素贝叶斯中文文本分类

 第41卷 第3期山 东 大 学 学 报 (理 学 版)

     

 Vol.41 No.3JOURNALOFSHANDONGUNIVERSITY

 文章编号:167129352(2006)0320046204

     Jun.2006 

2006年6月 

基于类别核心词的朴素贝叶斯中文文本分类

袁 方,苑俊英

(河北大学 数学与计算机学院,河北 保定 071002)

摘要:从人工分类的角度看,标题、摘要及关键词中的词条对于文本分类具有更重要的作用.在此基础上提出了基于类别核心词的分类模式,从标题、摘要及关键词中提取类别核心词,通过加权方式,用.基于朴素贝叶斯分类方法的实验表明,.关键词:文本分类;朴素贝叶斯分类;类别核心词中图分类号:TP391   文献标识码:A

NaiveBayesbasedoncorewordsofclass

YUANFangandYUANJun2ying

(CollegeofMathematicsandComputerScience,HebeiUniv.,Baoding071002,Hebei,China)

Abstract:Fromtheviewofmanualclassification,wordsintitle,abstractandkeywordsaremoreimportantthanothers.Aclassi2ficationmodeisadvancedbasedoncorewordsofclass.Thisclassificationmodeextractscorewordsfromtitle,abstractandkeywords,andthesecorewords’effectisstrengthenedviathemodeofweight.TheexperimentofNaiveBayesclassificationindicatesthatthismethodcaneffectivelyimproveclassificationprecisionofChinesetexts.Keywords:textclassification;NaiveBayesclassification;corewordsoftheclass

0 引言

文本分类就是在给定的分类模型下,根据文本的内容让计算机自动判断文本类别的过程.从数学的角度来看,文本分类是一个映射过程,它将未知类别的文本映射到已有的类别中.自动文本分类技术已经应用于信息检索、信息抽取、信息过滤、数据组织、网上信息快速定位等多个领域.常用的文本分类方法有k2近邻(k2NN)方法、朴素贝叶斯(NaiveBayes)方法、神经网络(NN)方法、支持向量机(SVM)

[1]

立.从贝叶斯公式直观看来,文本的类别与特征词

的词频有很大关系,词频越大,说明该词越具有代表性.但实际情况并非如此,有些低频特征词可能更能代表类别特征,也就是说,词频并不足以完全代表某个词在分类中的重要程度.

人工分类文本时,我们更看重在标题、摘要、关键词中出现的词条.即认为,在标题、摘要和关键词部分出现的特征词的重要程度更高一些,它们能更好地代表该类文本的类别特征,我们将这些词称作类别核心词.本文的主要思路是:首先在文本分词的基础上选出每类的类别核心词;然后计算类别核心词相对于所有特征词的重要程度;最后在朴素贝叶斯分类方法中,将类别核心词的重要程度融合进来,对测试文本进行分类.实验表明,与传统的朴素贝叶斯分类方法相比,由于强化了类别核心词的作用,基于类别核心词的朴素贝叶斯方法更能有效

方法和决策树方法等.

朴素贝叶斯分类方法是一种简单有效的概率分类方法,在某些领域表现出很好的性能

[2,3]

.在中文

文本分类中,分词后用特征词向量形式来表示每个文本,朴素贝叶斯分类方法假定特征词之间相互独

收稿日期:2006203229

基金项目:河北省科技攻关计划资助项目(05213573)

),男,教授,主要研究领域为Web挖掘、作者简介:袁 方(19652 智能信息检索.

第1页

你可能喜欢

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email