2006年第8期
文章编号:1006-2475(2006)08-0005-04
计算机与现代化
JISUANJI YU XIANDAIHUA
总第132期
基于SVM的中文文本自动分类研究
马金娜,田大钢
(上海理工大学管理学院,上海 200093)
摘要:详细介绍了进行文本分类的过程,并着重介绍了一种新的基于结构风险最小化理论的分类算法)))支持向量机,通过实验比较支持向量机算法和传统的KNN算法应用于文本分类的效果,证实了支持向量机在处理文本分类问题上的优越性。
关键词:文本分类;支持向量机;特征提取中图分类号:TP391 文献标识码:A
ResearchonChinese-textAutomaticClassificationBasedonSVM
MAJin-na,TIANDa-gang
(CollegeofManagement,UniversityofShanghaiforScienceandTechnology,Shanghai200093,China)
Abstract:Thispaperdescribesthecourseoftextclassificationandanewefficientclassificationalgorithm)))SupportVectorMachine.Intheend,SVMandthetraditionaltex-tclassificationalgorithm)))KNNareappliedtoChinese-textautomaticclassification,itisprovedthattheSVMissuperior.
Keywords:textclassification;SVM;featureselection
0 引 言
所谓/数据丰富但知识缺乏0的现状导致了数据挖掘(DataMining)技术研究的兴起,数据挖掘是从海量的结构化信息中抽取或挖掘隐含信息和知识的重要方法和途径[1]。当前,数据挖掘技术已经相当成熟了。但是,ForrestResearch的统计资料指出,80%以上的数据以非结构化的形式存在[2],如文档、手册、E-mail、技术报告、专家陈述等,所以出现了对从文本中发现知识(KnowledgeDiscoveryinTexts)的巨大需求。文本挖掘(TextMiningorTextDataMining)就是从文本集中挖掘和发现隐含的归纳知识,如关联知识、时间序列信息,甚至科学文献的创新推断和假设等。文本挖掘的具体实现技术主要有:特征提取、主题标引、文本分类、文本聚类、自动摘要。本文所要讨论的是文本分类(TextClassification)方法。文本分类的任务是基于内容将自然语言文本自动分配给预定义的类别,
文本分类既是一种文本挖掘任务,也是对文本进行深层次挖掘的预处理步骤。本文将深入地探讨中文文本分类的关键技术,并研究当前应用于文本分类效果较好的支持向量机算法,将其与传统的KNN算法相比较,证实支持向量机在文本分类上的优越性,并针对其缺点,提出在进行文本预处理时给予改善。
1 文本预处理
由于文档都是非结构化的,而且文档的内容是人类所使用的自然语言,计算机很难处理其语义,因此要进行必要的文本预处理。由于西文文本词与词之间有明显的间隔符分开,而中文没有,中文是连续的字串,因此对中文文本预处理时还要进行句子的切分(Segmentation)。通常采用词(words)或者n-grams(N-元长度为n的有序单词集合)法来做中文句子的切分。我国对自动分词的相关研究已进行了十几年,清华大学计算机系、北京大学计算语言学研究所和山西
收稿日期:2005-09-15
作者简介:马金娜(1979-),女,河南项城人,上海理工大学管理学院硕士研究生,研究方向:文本挖掘;田大钢(1958-),男,江西人,副教授,研究方向:决策支持系统,数据挖掘,优化计算。
计算机与现代化 J ISUANJ I Y U XIANDAIHUA 总第 132 期 基于 SVM 的中文文本自动分类研究马金娜 ,田大钢 ( 上海理工大学管理学院 ,上海 200093) 摘要 : ...
2007 基于支持向量机的中文文本自动分类研究马金娜 , 田大钢 ( 上海理工大学...Keywords: text classification; SVM ; feature select ion 0 引 言 传统的 ...
基于支持向量机的中文文本自动分类研究_IT/计算机_专业资料。文本特征提取的相关... 马金娜(99 )女 , 17 一 , 硕士研究生, 主要研究方向为文本挖掘.Em i m...
暂无评价0人阅读0次下载举报文档 信息检索课程大作业_工程科技_专业资料。...基于 SVM 的中文文 9 本自动分类研究 马金娜; 院; 上海 数据库】计 田大钢...
暂无评价0人阅读0次下载举报文档 信息检索课程大作业_工程科技_专业资料。...基于 SVM 的中文文 9 本自动分类研究 马金娜; 院; 上海 数据库】计 田大钢...
热门文档