通过实验对SVM、KNN文本分类算法进行了深入探讨。基于KNN和SVM算法,提出了一种SVM.KNN算法。该算法结合KNN和SVM两种分类器,并通过分类预测概率的反馈和修正来提高分类器性能。在CWT100G中文网页分类测试系统中,对SVM.KNN算法的实际效果进行了测试和算法性能验证。
计算机时代 2 1年第 8 00期
9- 2
基于 S M— N V K N的文本分类算法及其分析 匡春临’,夏清强
(.洛阳师范学院,河南洛阳 4 12;2 1 702 .洛阳市教育局) 摘要:通过实验对 S M、 N文本分类算法进行了深入探讨。基于 K V KN NN和 S M算法,出了一种 S V提 VM. N K N算法。 该算法结合 K N和 S M两种分类器, N V并通过分类预测概率的反馈和修正来提高分类器性能。在 C WT10 0 G中文网页分
类测试系统中, S M. NN算法的实际效果进行了测试和算法性能验证。对 V K 关键词:文本分类;S M;KN V N;S M— N;算法比较 V KN Ana y i o Te t l ss n x Cl s i c ton Al o ihm Ba e on VM - a sf a i g r t i s d S KNN KUA h nl NG C u—n,XI Qigqag i A n—i n ( .∞, N r a nv r t,L o a g e a 7 0 2 h n;2 u y n d c t n B r u o m lU i s y u? n,H n n 4 1 2,C ia .L o a g E u ai ue ) ei o a
Abs r c: Th o g e p rm e t S ta t r u h x e i n s VM a d n KNN t x c a s fc to a go i m s r f rh r dic s e . Ba e o S e t l s i a i n l rt i h a e u t e s u s d s d n VM a d n KNN
ag rt ms a S lo ih, VM— KNN ag rtm i pu fr r . Co i ig KNN a S lo ih s t o wa d mb nn nd VM ca sfes te SVM— lsi r, h i KNN a g rt m c n l o ih a i r ve h p ro ma c o ca sfe b te e d a k n i r v m e t f ls iyi p e ito p o a lt. I CW T1 0 mp o te e f r n e f lsi r y h f e b c a d mp o e n o ca sf ng r d cin r b bii i y n 0 G Ch ne e i s we p g c a s fc to t s s t m,t a t a e f c o S b a e l s i a i n e t yse i he c u l fe
t f VM— KNN a g rt m i t se a d h pe f r a e f t s l o ih s e t d n t e ro m nc o i i pr ve o d.
K e r: t x ls i c t n; SVM; KNN; S y wo ds e t c a sf a i i o VM— KNN;a g rt m c mpa io lo i h o rs n
O引言
多数属于哪一类,就把待识别的文章归为哪一类。KN N分类器
从随着互联网的飞速发展,网络上信息的数量也快速地增在己分类文章中检索与待识别的文章最相似的文章,而获得被测文章的类别。 长。在搜索引擎 G o l中, o ge已收录了超过 1万亿个网页,中而国互联网信息中心的调查报告也显示,截至 20年底, 09中国网
K N分类器有两种基本的决策规则, N分别是 D F V离散值
WF N站的网页数量已经达到 3 6增幅超过 1 0 3亿”, 0%。但是,网络在规则和 S决策规则。K N一般采用欧氏距离法和夹角余弦法来定义文本之间的距离(相似性)。 提供给人们丰富信息的同时,过于巨大的信息量也给人们有效 利用这些信息带来困难。为了有效地组织和管理网页资源,必 K NN算法简单实用,分类准确率较高,由于 K但 NN是一种
需每须对网页进行合理分类。网页分类的传统做法是由人工判断懒惰学习算法,要将所有训练样本存入计算机中,次决策都要计算并比较待识别样本与全部训练样本之间的距离,因此类别,并加以组织和整理,这对于现在每天产生数百万新网页存储量和计算量都较大。此外, K在 NN分类器中,一个重要环的互联网而言,人工分类已经不再现实。 节是参数 K的选择,值 K值选择得过小,不能充分体现待分类文网页分类技术建立在文本自动分类技术基础之上。国外的文本分类经历了可行性基础研究和实验性开创研究,目前已 机器翻译等方面都得到了广泛的应用。
本的特点,如果 K值选择过大,而则一些与待分类文本实际上 在实际的文本分类试验中,一般都要通过反复的实验,测试、观
导致噪声增加分类效果降低。 经进入到实用性商业应用,在信息检索、电子会议、安全、并不相似的文本也被包含进来,网络 从从文本分类的方法来看,现有的文本
分类技术主要采用三察不同的 K值对分类效果的影响,而最后来确定 K的一个较 种类型的方法:基于统计的方法、于连接的方法和基于规则理想的取值范围。基
的方法。目前常见的分类算法有朴素贝叶斯,简单向量距离分 2支持向量机算法(V S M)类法, N (最近邻 )法,向量机(V等算法。面对大 K NK算支持 S M)支持向量机 (u p r V co c ie,S M) V p i S p ot etrMahn s V由 a nk 量的文本分类算法,择一个合适的算法也是进行文本分类以在 19年提出,选 95是一种基于统计学习理论的新型的通用学习方至网页分类的重要工作。在选择分类算法时, NN和 S M被认 K V为是效果较好的两种分类算法,本文将 K NN和 S M两种分类 V器进行结合,用分类预测概率的反馈和修正来提高分类的准确率,并通过实验对 K NN、VM、V KN S S M— N三种算法做了比较。
法,它建立在统计学习理论的 V C理论和结构风险最小化原理的基础上,根据有限样本信息在模型的复杂性 (即对特定训练 样本的学习精度 )和学习能力 (即无错误的识别任意样本的能力 )间寻求最佳折衷,之以期获得更好的泛化能力。其基本思
想是首先通过非线性变换将输入空间映射到一个高维特征空然后在这个新空问中求取最优线性分类面,而这种非线性 K N的算法思想很简单: N给出一篇待识别的文章,系统在间,核函数 )来实现的,在训练集中 训练集中找到与此文本最近的 K个最近邻,看这 K个最近邻中变换是通过定义适当的内积函数(
1 K近邻算法( N ) K N

基于SVM—KN N的文本分类算法及其分析匡春临1。夏清强2 (1.洛阳师范学院,河南洛阳471022;2.洛阳市教育局)摘要:通过实验对SvM、KNN文本分类算法进行了深入探讨。...
计算机时代 2010 年第 8 期 · 29 · 基于 SVM-KNN 的文本分类算法及其分析匡春临 1,夏清强 2 (1. 洛阳师范学院,河南 洛阳 471022;2. 洛阳市教育局) ...
38 No . 4 59 一种新的基于 SVM -KNN 的 Web 文本分类算法曹建芳 王鸿斌忻州 034000) ( 忻州师范学院计算机系 摘要 * 在应用基本的支持向量机算法的基础上...
SVM andKNNA190rithm (南昌大学)白小明邱杉E荣BAIXlAOMINGQIUTAORONG 摘要:本文着重对SVM和KNN分类法进行分析,并结合实际的文档集测试了SVM和KNN分类法的性能,给出了...
所以。文本自动分类及其相关技术的研究正日益 成为一项研究热点。目前较为著名的文本分类算法包 括支持向量机(SupportVectorMachine,SVM),K近邻法 Neighbour,KNN),...
卫(1969- ),男,湖南人,馆员,本科,从 11 期 基于 SVM-KNN 算法的特色数据库分类体系初探 1689 有其它文本分类方法不可比拟的优势。 其中 C>0 是常数,它...
el1@2o.nO 摘 要 提出 了基 于 支持 向量 机的专利 文本 分类器的总 体设 计方 案和 实现 方法; 出并 分析 了该 分类器的改进算法S 提V MKN 组合 ...
中文文本分类技术在中文信息智能处理方面具有十分重要的作用比如:中文 信息检索和搜索引攀等 KNN、贝叶斯、SVM 等算法都可以应用到中文文本分类 技术上,本研究分析和...
一种新的基于SVM-KNN的Web文本分类算法_专业资料。在应用基本的支持向量机算法的基础上,提出了一种新的Web文本分类算法。将SVM算法和KNN算法进行结合,提出了基于SVM...
KNN和SVM算法在中文文本自动分类技术上的比较研究_自然科学_专业资料。KNN和SVM算法在中文文本自动分类技术上的比较研究第 卷第 期年月一 河北农业 大学 学报 文 ...
本研 究分 析和 比较 KNN和SVM这两种机 器学 习 算法 在 中文文本 自动 分类 技术上 的应 用,通过实 并验 比较这 两种分 类算法 的效 果。 (,为词 ...
热门文档