基于相关向量机的机器学习算法研究与应用

第29卷第1期2010年3月
计 算 技 术 与 自 动 化ComputingTechnologyandAutomation
Vol129,No11
Mar.2010
文章编号:1003-6199(2010)01-0043-05
基于相关向量机的机器学习算法研究与应用
杨树仁,沈洪远
(湖南科技大学信息与电气工程学院,湖南湘潭 411201)
摘 要:介绍一种新的机器学习方法———相关向量机(RelevanceVectorMachine)。
新的基于贝叶斯统计学习理论的学习方法,与支持向量机(),可以有概率型输出、更稀疏和核函数选择更自由等优点。,并通过仿真实验说明该方法的有效性,键问题。
关键词::A
andApplicationofMachineLearningAlgorithm
BasedonRelevanceVectorMachine
YANGShu2ren,SHENHong2yuan
(InstituteofInformationandElectricalEngineering,HunanUniversityofScienceandTechnology,Xiangtan 411201,China)
Abstract:RelevanceVectorMachine(RVM)techniqueasanewmachinelearningmethodisillustratedindetails.Itisanovelkind
oflearningmethodwhichisbasedonBayesianlearningtheory.RVMwasdevelopedonthebasisofSupportVectorMachine(SVM)learningtheory,comparedwiththeSVM,ithasthebenefitsofprobabilisticpredictions、sparsermodel、thefacilitytoutilizearbitraryba2(Mercer’sisfunctions‘-function)andsoon.Thentheresearchsituation、theoreticalbasis、algorithmthoughtaboutRVMisdiscussedinthispaper,andthevalidityofthismethodhasbeenprovedbysomeexamples,FinallytheprospectandtheresearchaspectofRVMisdiscussed,andthesolvedkeyproblemofRVMispresentedinthefuture.
Keywords:relevancevectormachine;supportvectormachine;statisticallearningtheory;machinelearning
1 引 言
机器学习是从观测数据出发寻找规律,利用这些规律对未来数据或无法观测的数据进行预测。其重要理论基础之一是统计学。而传统统计学研究的是样本数目趋于无穷大时的渐近理论[1,2],当样本数目有限时难以取得理想的结果。统计学习理论(StatisticalLearningTheory,SLT)是专门研究实际应用中有限样本情况的机器学习规律,并发展了支持向量机(SupportVectorMachine,SVM)这一新的通用学习方法[3],由于它基于结构风险最小(StructuralRiskMinimization,SRM)原理[4],
而不是传统统计学的经验风险最小化(EmpiricalRiskMinimization,ERM),表现出很多优于已有方法的性能,并且已经在各个领域得到了广泛的应用[5-7],也出现了较多改进的算法模型[8,9]。
N
在给定一训练样本{xn,tn}n=1,我们希望通过这一样本数据,从中学习出输入x和目标输出t之间的依赖关系,监督学习模型可表示为:
N
y(x)=
n=1
∑w
n
k(x,xn)+w0(1)
其中:{wn}代表权重,k(x,xn)表示核函数,虽然支持向量机在回归、分类方面取得了巨大的成功,但它还存在明显的不足,主要表现在:①预测模型缺少概率因素,我们在进行回归和分类时,若
收稿日期:2009-11-10
基金项目:湖南省教育厅资助项目(00C219)
),男,甘肃通渭人,硕士研究生,研究方向:模式识别、作者简介:杨树仁(1986—优化算法、数据挖掘(E-mail:ysr1986nba@163.com);),男,安徽怀远人,教授,博士,研究方向:模式识别、沈洪远(1958—智能控制、数据挖掘。
机器学习十大算法的每个算法的核心思想、工作原理、适用情况及优缺点_互联网_IT/计算机_专业资料。机器学习十大算法的每个算法的核心思想、工作原理、适用情况及优...
第八章 机器学习算法简介邹权(博士) 计算机科学系 提要 8.1 机器学习问题 8.2 机器学习算法 8.3 机器学习应用 8.4 WEKA平台简介 8.1 机器学习问题 ? ...
机器学习10大经典算法_IT/计算机_专业资料。一份总结~1、C4.5 机器学习中,决策树是一个预测模型;他代表的是对象属性与对象值之间的一种映射关系。 树中每个...
机器学习算法总结_计算机软件及应用_IT/计算机_专业资料。机器学习算法总结 C4.5, k-Means, SVM, Apriori, EM, PageRank,AdaBoost, kNN,Naive Bayes, and ...
机器学习; 分类算法: 入侵检测 中图分类号 :I0.r31 ’P6 文献标识码 :A 文章编号 :17-48(o)6-7—46256240-02o o0 Anlssadcmprsno lsictnagrtmsayi n ...
机器学习算法分类_计算机软件及应用_IT/计算机_专业资料 暂无评价0人阅读0次下载举报文档 机器学习算法分类_计算机软件及应用_IT/计算机_专业资料。...
机器学习算法_互联网_IT/计算机_专业资料。机器学习算法总结1. C4.5 C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法. C4.5算法继承了...
5-1 简述机器学习十大算法的每个算法的核心思想、工作原理、适用情况及优缺点等。 1)C4.5 算法: ID3 算法是以信息论为基础,以信息熵和信息增益度为衡量标准,...
机器学习算法汇总:人工神经网络、深度学习及其它_互联网_IT/计算机_专业资料。机器学习算法汇总:人工神经网络、深度学习及其它学习方式根据数据类型的不同,对一个...
热门文档