il,c(Psol)}
基于KNN算法的文本分类
刘科
(江西省儿童医院,江西南昌330006)
摘
要:本文介绍了数据挖掘‘11的一个分枝一文本自动分类的相关技术,实现了基于粗糙集的K最近邻分类算法。实验表
明,该方法训练数据规模大大减少,训练效率较高,同时具有较好的实验结果。
关键词:数据挖掘;文本分类;粗糙集;K最近邻
1文本分类简介
随着全球互联网络的普及,世界已经进入到一个信息时代。在互联网上,电子文档信息每天都在急剧增加.通过刚络。人们可以很方便地共享巨大的信息资源。当我们在网站寻找白己所需要的信息时,如果网页毫无有序的放在一起,没有类别供我们查找,会使我t'fNi难找到自己所需的信息,人们无法很有效地利用海量的资源,这增加了对于快速、自动文本分类的迫切需求,另外激增的信息资源又为基于机器学习的文本分类方法准备了充分的资源。通过文本自动分类系统把文本数据进行归类,可以帮助人们更好地发现、过滤和分析文本信息资源。文本自动分类的目的就是对文本集进行有序组织,把相似、相关的文本组织在一起。它作为知识的组织工具,为信息检索提供了更高效的搜索策略和更准确地查询结果,使得检索的查全率和准确率都得到了提高。传统的人工分类的做法存在许多弊端,不仅是耗费大量人力、物力和精力,而且存在分类结果一致性不高的问题。因而,构造一个有效的文本分类系统是十分必要的。
2基于KNN的文本分类
2.1文本分类的一般过程
文本分类的流程包括两大步:训练和分类。首先是训练过程,给定训练集,然后把训练集的文本统一表示(常用的是向量空间模型VSM),再通过特征提取降维,最后通过各种分类模型训练出一个分类器,训练过程结束;接着是分类过程,给定一个新文本,同训练文本一样,经过向量表示、特征提取后送人分类器,输出该文本所屙类别(一个或多个)。
训练文本卜——一预处理卜-——+I特征选择卜_———叫训练分类嚣
用的程度。
2.2特征提取
进行特征选择131,就是指尽可能去除那些不能很好表示文本分类信息的词,保留那些对分类有益的词.简化计算、防止过分拟合等作用,从而提高分类效率和减少计算复杂度,也就是从特征集仁(“,f2'…tO中选择一个真子集T。=(‘1,f2,…U(re<n),其中n为原始特征集的元素个数,m为选择后的特征集的元素
个数。选择特征词的准则是经特征选择后能有效提高文本分类
准确率。选择某些特征词并不改变原始特征空间的性质,只是从原始特征空间中选择一部分重要的特征,组成了一个新的能完全代表原始特征空间的低维空间。
在文本处理中,其中常用的特征评分函数,主要有文档频率法、信息增益方法、互信息方法、期望交叉熵、文本证据权、优势率、铲统计等。本文采用的是信息增益方法进行特征项抽取的判断标准。
信息增益14J在机器学习领域被广泛应用。对每个特征项f,通过综合考虑每一类中出现与不出现该特征项的文本数来衡量该特征项的信息增益。信息增益值代表了特征项在整个训练集上的分布。其基本思想是分布越集中越重要。计算公式如下:f)=一∑zo(t)=一姜
kl
。)+P(f)∑P(cfIt)+尸(f)∑尸
mlr),,、l;)(1)
、J,
其中,P(ci)表示任一篇文档属于第j类的概率;P(f)表示特征项t在文本集中出现的概率;只i)表示除t外的特征项在文本集中出现的概率;P(qlt)表示任一篇包含t的文本属于第i类的概率;P(ciIi)表示任一篇不包含t的文本属于第j类的概率,//2为文档类数目。
2.3文本的KNN分类方法
KNN是一种基于实例的文本分类算法,首先将测试文本特征化为一个向量,然后通过计算向量的夹角余弦值得到它与训练样本集中每个文本的文本相似度,依文本相似度找出k个最相似的训练文本,把测试文本指派给其中相似样本最多的一类
同
。
语料庠JJ分列去停川浏
分类模型
亟至卜_t堕乎—回匿
图1文本分类总体流程图
文本分类系统的流程如图1所示:由文本预处理、特征选择、分类器训练和分类模型四个主要模块构成。从该图中可以看出,文本分类的关键技术包括文本表示、分类算法、分类器性能评估几个方面。文本预处理最后,将文本的词语构成一个向量空
该算法的基本思路是:在给定新文档后.考虑在训练文档集中与该新文档距离最近(最相似)的K篇文档,根据这K篇文档所属的类别判定新文档所属的类别。具体的算法步骤如下:
(1)根据特征项集合重新描述训练文档向量。
(2)在新文档到达后.根据特征词分词新文档,确定新文档的向量表示。
(3)在训练文档集中选出与新文档最相似的K个文档,计
.
间模型fvsM尸。向量空间模型自从Salton等人于20世纪60年
代末提出并在文本分类、自动标引、信息检索等许多领域得到了广泛的应用.并已经成为最简便、高效率的文本表示模型之一。因此本文采用向量空问模型来表示文本。在向量空间模型中,文本被形式化为N维向量空间的一个向量:
仕(“,t2,…,O
式中:T表示文本向量,ti表示文本向量的第j维.第i个特征词在文档中的权重,用以表示该词在描述文档内容时所起作
算公式为:
新,l(一,t)=
9。.。,..。
(2)
2009年第6期
一种基于KNN的文本分类算法_专业资料。KNN(K—Nearest Neighbor)是向量空间模型中最好的文本分类算法之一。但是,当样本集较大以及文本向量维数较多时,KNN算法分类...
技术平台 科技经济市场 基于 KNN 算法的文本分类刘 科(江西省儿童医院, 江西 南昌 330006 )摘 本文介绍了数据挖掘[1]的一个分枝—文本自动分类的相关技术, ...
· 使用 KNN 算法的文本分类张 宁 1,贾自艳 2,史忠植 2 (1. 中国科技大学研究生院计算机学部, 北京 100039;2 . 中科院计算技术研究所智能信息处理重点实验室...
基于KNN的中文文本分类算法研究_互联网_IT/计算机_专业资料。介绍了基于KNN的中文文本分类算法西南交通大学 硕士学位论文 基于KNN的中文文本分类算法研究 姓名:刘慧...
归纳了针 对KNN算法的不足而提出的改进算法。对KNN文本分类算法的理论研究和实际应用起了指导作用。 关键词:文本分类;KNN;向量空间模型 中围分类号:TP311 文献...
用于文本分类的快速KNN算法_专业资料。KNN(k Nearest Neighbor)算法是一种简单、有效、非参数的文本分类方法.传统的KNN方法有着样本相似度计算量大的明显缺陷,使...
一种基于特征加权的KNN文本分类算法_专业资料。KNN文本分类算法是一种简单、有效、非参数的分类方法。针对传统的KNN文本分类算法的不足,出现了很多改进的KNN算法。...
基于LSA降维的KNN文本分类算法_专业资料。针对文本自动分类问题,提出了一种基于LSA降维的KNN改进算法.通过对文本特征向量运用LSA理论进行降维处理,可以有效提高KNN...
基于DBSCAN聚类的改进KNN文本分类算法_互联网_IT/计算机_专业资料 暂无评价
基于KNN的多要素文本协调分类算法_信息与通信_工程科技_专业资料 暂无评价
热门文档