文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 信息与通信 > 基于SVM—KNN的文本分类算法及其分析
侵权投诉

基于SVM—KNN的文本分类算法及其分析

通过实验对SVM、KNN文本分类算法进行了深入探讨。基于KNN和SVM算法,提出了一种SVM.KNN算法。该算法结合KNN和SVM两种分类器,并通过分类预测概率的反馈和修正来提高分类器性能。在CWT100G中文网页分类测试系统中,对SVM.KNN算法的实际效果进行了测试和算法性能验证。

计算机时代 2 1年第 8 00期

9- 2

基于 S M— N V K N的文本分类算法及其分析 匡春临’,夏清强

(.洛阳师范学院,河南洛阳 4 12;2 1 702 .洛阳市教育局) 摘要:通过实验对 S M、 N文本分类算法进行了深入探讨。基于 K V KN NN和 S M算法,出了一种 S V提 VM. N K N算法。 该算法结合 K N和 S M两种分类器, N V并通过分类预测概率的反馈和修正来提高分类器性能。在 C WT10 0 G中文网页分

类测试系统中, S M. NN算法的实际效果进行了测试和算法性能验证。对 V K 关键词:文本分类;S M;KN V N;S M— N;算法比较 V KN Ana y i o Te t l ss n x Cl s i c ton Al o ihm Ba e on VM - a sf a i g r t i s d S KNN KUA h nl NG C u—n,XI Qigqag i A n—i n ( .∞, N r a nv r t,L o a g e a 7 0 2 h n;2 u y n d c t n B r u o m lU i s y u? n,H n n 4 1 2,C ia .L o a g E u ai ue ) ei o a

Abs r c: Th o g e p rm e t S ta t r u h x e i n s VM a d n KNN t x c a s fc to a go i m s r f rh r dic s e . Ba e o S e t l s i a i n l rt i h a e u t e s u s d s d n VM a d n KNN

ag rt ms a S lo ih, VM— KNN ag rtm i pu fr r . Co i ig KNN a S lo ih s t o wa d mb nn nd VM ca sfes te SVM— lsi r, h i KNN a g rt m c n l o ih a i r ve h p ro ma c o ca sfe b te e d a k n i r v m e t f ls iyi p e ito p o a lt. I CW T1 0 mp o te e f r n e f lsi r y h f e b c a d mp o e n o ca sf ng r d cin r b bii i y n 0 G Ch ne e i s we p g c a s fc to t s s t m,t a t a e f c o S b a e l s i a i n e t yse i he c u l fe

t f VM— KNN a g rt m i t se a d h pe f r a e f t s l o ih s e t d n t e ro m nc o i i pr ve o d.

K e r: t x ls i c t n; SVM; KNN; S y wo ds e t c a sf a i i o VM— KNN;a g rt m c mpa io lo i h o rs n

O引言

多数属于哪一类,就把待识别的文章归为哪一类。KN N分类器

从随着互联网的飞速发展,网络上信息的数量也快速地增在己分类文章中检索与待识别的文章最相似的文章,而获得被测文章的类别。 长。在搜索引擎 G o l中, o ge已收录了超过 1万亿个网页,中而国互联网信息中心的调查报告也显示,截至 20年底, 09中国网

K N分类器有两种基本的决策规则, N分别是 D F V离散值

WF N站的网页数量已经达到 3 6增幅超过 1 0 3亿”, 0%。但是,网络在规则和 S决策规则。K N一般采用欧氏距离法和夹角余弦法来定义文本之间的距离(相似性)。 提供给人们丰富信息的同时,过于巨大的信息量也给人们有效 利用这些信息带来困难。为了有效地组织和管理网页资源,必 K NN算法简单实用,分类准确率较高,由于 K但 NN是一种

需每须对网页进行合理分类。网页分类的传统做法是由人工判断懒惰学习算法,要将所有训练样本存入计算机中,次决策都要计算并比较待识别样本与全部训练样本之间的距离,因此类别,并加以组织和整理,这对于现在每天产生数百万新网页存储量和计算量都较大。此外, K在 NN分类器中,一个重要环的互联网而言,人工分类已经不再现实。 节是参数 K的选择,值 K值选择得过小,不能充分体现待分类文网页分类技术建立在文本自动分类技术基础之上。国外的文本分类经历了可行性基础研究和实验性开创研究,目前已 机器翻译等方面都得到了广泛的应用。

本的特点,如果 K值选择过大,而则一些与待分类文本实际上 在实际的文本分类试验中,一般都要通过反复的实验,测试、观

导致噪声增加分类效果降低。 经进入到实用性商业应用,在信息检索、电子会议、安全、并不相似的文本也被包含进来,网络 从从文本分类的方法来看,现有的文本

分类技术主要采用三察不同的 K值对分类效果的影响,而最后来确定 K的一个较 种类型的方法:基于统计的方法、于连接的方法和基于规则理想的取值范围。基

的方法。目前常见的分类算法有朴素贝叶斯,简单向量距离分 2支持向量机算法(V S M)类法, N (最近邻 )法,向量机(V等算法。面对大 K NK算支持 S M)支持向量机 (u p r V co c ie,S M) V p i S p ot etrMahn s V由 a nk 量的文本分类算法,择一个合适的算法也是进行文本分类以在 19年提出,选 95是一种基于统计学习理论的新型的通用学习方至网页分类的重要工作。在选择分类算法时, NN和 S M被认 K V为是效果较好的两种分类算法,本文将 K NN和 S M两种分类 V器进行结合,用分类预测概率的反馈和修正来提高分类的准确率,并通过实验对 K NN、VM、V KN S S M— N三种算法做了比较。

法,它建立在统计学习理论的 V C理论和结构风险最小化原理的基础上,根据有限样本信息在模型的复杂性 (即对特定训练 样本的学习精度 )和学习能力 (即无错误的识别任意样本的能力 )间寻求最佳折衷,之以期获得更好的泛化能力。其基本思

想是首先通过非线性变换将输入空间映射到一个高维特征空然后在这个新空问中求取最优线性分类面,而这种非线性 K N的算法思想很简单: N给出一篇待识别的文章,系统在间,核函数 )来实现的,在训练集中 训练集中找到与此文本最近的 K个最近邻,看这 K个最近邻中变换是通过定义适当的内积函数(

1 K近邻算法( N ) K N

基于SVM—KNN的文本分类算法及其分析

第1页

你可能喜欢

  • 分布式云计算
  • 支持向量机原理
  • 支持向量机算法
  • 线性分类器
  • 机器学习
  • 数据挖掘
  • 分类回归树

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email