
2010年6月 陕西理工学院学报(自然科学版)
第26卷第2期 JournalofShaanxiUniversityofTechnology(NaturalScienceEdition)
June.2010Vol.26 No.2
[文章编号]1673-2944(2010)02-0058-07
支持向量机原始问题研究综述
赵春婕, 王树勋
(陕西理工学院数学系, 陕西汉中723001)
[摘 要] 支持向量机学习器往往是通过求解原二次优化问题的对偶问题获得的。诸多研
究表明,支持向量机原始问题同样可以适当地处理约束项,同时,突破以前原二次优化问题不能利用核函数的认识误区,通过引入核函数建立一个无约束优化问题,利用传统优化方法进行求解。理论分析和实验表明,支持向量机原始问题也能实现对数据的高效学习,而且在大规模数据学习问题上,较之求解对应的对偶问题获得的近似解更可靠,参数选择也更好进行。[关 键 词] 向量机; 学习器; 优化; 核函数
[中图分类号] TP391.6 [文献标识码] A
[1,2]
Vapnik等人于1995年提出的支持向量机(SupportVectorMachine,SVM)学习方法后的又一个标准的学习工具,最小化思想不同,,,即,利用间隔最大化的思想,,实现分类功能。由于成功克服了以往机器学习方法存在的“维数灾难”、“”等问题,表现出了优越的学习性能和良好的推广能力,因而在模式识别、函数拟合、故障诊断、生物信息、数据挖掘等领域得到广泛应用。
目前,针对支持向量机的研究已经取得了很多成果。但是,主要还是通过求解一个带约束的二次优化问题的对偶优化问题来获得最优解,在此基础上构建学习器,完成分类和回归等功能。本文在介绍支持向量机原理的基础上,主要介绍对支持向量机原始问题研究的最新进展,这种方法利用损失函数把约束处理成目标函数的一部分,把问题转化为一个无约束优化问题。而且,研究进一步证实了构建学习器同样可以通过求解支持向量机原始问题获得。与支持向量机对偶问题相比较,原始问题也可以通过引入核函数很好地处理约束问题,而且求解支持向量机原始问题较之求解对偶问题具有以下优点:①复杂度相同;②获得的近似解更可靠;③针对大规模问题可以借助传统优化方法来求解;④参数选择更好进行。
1 支持向量机的基本原理1.1 线性可分问题
SVM最早是对两分类问题的线性可分情况提出来的,即对线性可分样本集D={xi,yi}i=1,其中
xi∈R,yi∈{+1,-1},+1和-1分别为类别标号,目标是寻找最优超平面f(x)=w x+b,使得两类
d
l
T
距离相近的样本到该超平面的距离最大,如图1。该问题可以转化为求解如下二次优化问题:
收稿日期:2009-11-16 基金项目:陕西省教育厅自然科学基金项目(07JK209)。
作者简介:赵春婕(1982—),女,陕西省西安市人,陕西理工学院助教,主要研究方向为数值分析。王树勋(1964—),男,陕西省华县人,博士研究生,陕西理工学院教授,主要研究方向为计算机图形学、图像处理和CAGD。
支持向量机原始问题研究综述_专业资料。支持向量机学习器往往是通过求解原二次优化问题的对偶问题获得的。诸多研究表明,支持向量机原始问题同样可以适当地处理约束项,...
支持向量机及其应用研究综述祁亨年I浙}工林学院信息工程学院,临安3Il300) 摘羹:在行析蜒持向最机原理的基础h分别从入脸椅测、验证和谈别、说话A/iti,.昔NjI,...
支持向量机理论与算法研究综述_理学_高等教育_教育专区。支持向量机理论与算法研究...每个Q 子 问题都采用上一个Q 子问 P]hpP 题 的结 果作 为初始 值 。在...
第1期 丁世飞,等: 支持向量机理论与算法研究综述 3 理论进行系统的介绍,进而...到最后一步时, 所有非零Lagrange乘数都被找到,从而解决了初始 的大型QP问题。...
目前,下述几个方面的问题值得 进行深入研究: 第5期 崔 和等: 支持向量机学习算法的研究现状与展望 331 a) 有限维空间的 SVM 理论发展较快,无限维空间的 SVM ...
第1期 丁世飞,等: 支持向量机理论与算法研究综述 3 理论进行系统的介绍,进而...到最后一步时, 所有非零Lagrange乘数都被找到,从而解决了初始 的大型QP问题。...
支持向量机及其应用研究综述_信息与通信_工程科技_专业...1.4 多类分类问题 基本的支持向量机仅能解决两类...该方法首先将原始图像帧分割为 N*N 的子块,提取...
( 2002) 06-0618 -06 支持向量机的研究现状柳...通常 , 训练算法改进的思路是 把要求解的问题分成...初始化 SVM 的核 函数参数 , 求解式( 11) , 然后...
支持向量机及其应用研究综述_信息与通信_工程科技_专业...1.4 多类分类问题 基本的支持向量机仅能解决两类...该方法首先将原始图像帧分割为 N*N 的子块,提取...
博士论文? 支持向量机及其应用研究综述祁亨年 (浙江...1.4 多类分类问题 基本的支持向量机仅能解决两类...该方法首先将原始图像帧分割为 N*N 的子块,提取...
其主要研究方向 大致可分为:求解支持向量机问题,支持向量机多类分类问题,参数的...结合第四章提出的 SVM 两类分类算法训练初始支持向量机 SVM; (5)测试训练得到...
热门文档