提出一个新的基于概率估计的支持向量机模型。通过定义相应样本数据点的概率估计值,以及相应的数据样本点到超平面的距离,来形成在线性和非线性情况下的新的支持支持向量机。同时通过定义基于样本点的整体偏离度,提出支持向量机的辅助分类策略。最后通过实验表明,新的支持向
基于辅助分类策略的概率支持向量机
王剑锋,杨胜,谢凯,李仁发
湖南大学计算机与通信学院,长沙 (410082)
E-mail:
摘 要:提出一个新的基于概率估计的支持向量机模型。通过定义相应样本数据点的概率估计值,以及相应的数据样本点到超平面的距离,来形成在线性和非线性情况下的新的支持支持向量机。同时通过定义基于样本点的整体偏离度,提出支持向量机的辅助分类策略。最后通过实验表明,新的支持向量机比以往传统的支持向量机有更好的分类性能并缩短了数据样本的训练时间。
关键词:分类,支持向量机,概率估计值,整体偏离度,辅助分类策略
中图分类号:TP183
1 引言
在传统的支持向量机的方法中,没有一种统一的方法或者比较有效的方法来辅助支持向量机的分类,即支持向量机的分类判断标准单一,同时,在支持向量机的训练过程中,所有的数据样本点都被等同地看待,在寻找最优超平面的过程中没有考虑到它们的不同,因而所寻找的超平面往往是局部的最优的[1,2,3,4]。然而在现实的问题当中,由于噪声,不一致性,模糊性等出现,在数据集中每个样本点的有效性是不一样的,针对这个问题,KiYoung LEE等人提出了概率支持向量机[5],但是这个方法没有很好的反映数据样本点的有效性,同时,其它的方法文献[8,10]计算复杂度过高。本文提出了一种新的数据样本点的概率估计方法,进而得到新的概率支持向量机。同时针对分类标准的单一性,以及当训练数据集较大时文献[6,7], 需要较长的训练时间,还有诸如动态选择分类器的方法文献[9], 分类效率不是很高,基于此提出支持向量机的辅助分类策略。
由KiYoungLee等人提出的基于概率的支持向量机给出了一个度量训练数据样本点从属度的方法,然而由此所形成的支持向量机,没有很好的分类精度,以及良好的训练效率,从而使得支持向量
机并未达到良好的实际分类效果。它采用了每个数据样本点有一个概率的估计值,然后,由此形成的支持向量机。它的每个训练数据样本点xk概率估计为
θk= 1+ ∑∑j=1l=1nmxk xlxk xj m ,在这里x∈MthClass 即x属于第M类,第M类有m个数ll 1
据样本点,且假设类MthClass为正例类,xj∈JthClass 即xj属于第J类,第J类有n个数据样本点,且假设类JthClass为反例类,其中k为小写。
注意到θk的计算,它是每个训练数据样本点xk到反例类中所有数据样本点的平均距离,设为d ,它到正例类中所有数据样本点的平均距离设为d+,θk即为d (d +d+)。它是针对类别中所有的数据样本点的计算,那么它所计算的即每个数据样本点xk的从属程度,需要Ο(m2)的时间,由此在随后所形成的支持向量机当中,所训练数据样本的时间就会延长,并且训练的精度不是很好。
分析使用的策略是降低样本的数量, 小波变换使用的策略则是降低向量的维数:从应用...60年代初,Maron 在利用概率模型进行文本分类方面做出了开创性的研究工作。Salton...
维普资讯 http://www.cqvip.com 支持 向量 机在 ... k’ 样本 进行分类时 的错 误概率( 或者 造成 ...种策略 ,这称为“票法”1投〔5 。采用上述方法...
支持向量机(sulbport vector machine,SVM)的流量分类...流量调度等一系列策略来提高 网络的运营效率.然而,...类模型对样本先验概率的依赖,可以有效提高分类 模型...
山西大学 硕士学位论文 基于支持向量机的文本分类方法...它为信息检索提供了更高效的搜索策略和更准确的查询...(c,)表示f,类文档在语料中出现的概率,p(f)表示...
后验概率在多分类支持向量机上的应用_数学_自然科学_专业资料。第 25 卷第 ...吴德会 基于后验概率思想的多类支持向量机重构策略[会议论文]-2008 2. 张...
( 4) : 571~ 578, 2008 基于证据理论的多类分类支持向量机集成李 1 2 烨...概率分配函数, 并摘 根据证据冲突程度采用不同的证据组合规则 在一对多策略下,...
支持向量机在多类分类问题中的推广刘志刚1李德仁2...个分类函数.,,使对未知样本x进行分类时的错误概率(...这种策略 称为“投票法一。采用上述方法的多类SVMs...
支持向量机等各种算法和模型的优点和缺点_计算机软件及应用_IT/计算机_专业资料...二、需要知道先验概率。 三、分类决策存在错误率 7 Adaboosting 方法的优点 一...
样本点对分类器设计的影响1 4 推广最优超平面及后验概率支持向量机 为把最优... 对数据集采用交叉验证策略 例 ( 100 次 , 数据来源于 http :/ / ...
基于支持向量机的医学期刊文章自动分类研究_计算机...具体数值在实验中确定,测试语料也采取同样的 策略。...而证据权值考 虑了类概率的信息,无论是在查全率...
热门文档