文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 电力/水利 > 特征选择算法综述
侵权投诉

特征选择算法综述

《电子设计工程》2011年第9期

于该算法无法对所有的特征依据其重要性进行排序。如何事先确定最优特征子集中特征的数目是一个很大的问题。2)合乎问题要求的满足单调性的可分性判据难以设计。3)当处理高维度多分类问题时.算法要运行多次.计算效率低下的问题将非常明显。

2.1.2采用随机搜索策略的特征选择算法

特征选择本质上是一个组合优化问题,求解这类问题可采用非全局最优目标搜索方法,其实现是依靠带有一定智能的随机搜索策略。它在计算过程中把特征选择问题和模拟退火算法、

禁忌搜索算法、遗传算法、粒子群算法或随机重采样(Boo嵋蛔p)

过程陋15l结合,以概率推理和采样过程作为算法基础。

遗传算法在这一领域的应用最为广泛。W.Siedlechi等学者提出早期的基于遗传算法和K近邻分类器的特征选择方法。然后是J.Y柚g等学者又提出了使用遗传算法结合人工神

经网络分类器进行特征选择的方法【’删。

通常此类方法是根据特征子集在训练集上的分类性能作为特征子集的评价准则。该方法可以得到一个近似最优解,有较好的应用效果。但是,当遇到特征数较多的情况,算法的运行会耗费大量的时间。

2.13采用序列搜索策略的特征选择算法

该算法主要有以下8种:

1)单独最优特征组合。该方法依靠计算各特征单独使用时的判据值对特征进行排序.取前d个特征作为满足条件的特征子集。在很多情况下.该方法可以用来去掉一些不相关的变量。由于特征排序采用的判据计算较为简单.因此在很大程度上能很快地缩减特征选择的范围.可作为一种特征预选方法口1一。

2)序列前向选择方法(SeqIlentialFo刑ardSektion,SFs),它是一种“自下而上”的搜索方法。先把目标特征集初始化为一个空集.每次向特征集合中增加一个特征.当达到要求时所得到的特征集就作为特征选择结果。该过程可以描述为:设原始特征集为p,假设当前特征集.】|f由包含d1个特征,对

每一个未人选特征8f(即Q爿m中的特征)计算其准则函数

Z可(‰托『)'选择使鼻最大的那个特征,并把它加入到集合

X出中。实际上,在算法的每一步都选择一个特征加入到当前集合。使得特征选择准则最大。这类算法的计算量相对较小。但它没有充分考虑特征之间的相关性。

3)广义序列向前选择方法(Ce舱ralizedseqIl曲tial

For.

砌dselecti蚰,GSFS)。该方法是S黔算法的加速方法,它可

以根据准则函数一次性向特征集合中增加r个特征。也就是在没有人选最优特征子集的剩余特征中.寻找一个规模为r的小特征集Yr,使得_,(Xm+Yr)最大。该方法相对于SFs在特征相关性方面的问题上则要稍好些.但是计算量相对SFs增大许多,且在S聆中出现的问题依旧难以彻底解决。

4)序列后向选择方法(Sequential

Backward

selecti∞,

SBS)。该方法是一种自上而下的搜索方法。它在运行之初假定整个原始特征集就是所求的优化特征集。而后在算法的每

—18一

万方数据

步运行过程中删除一个对准则函数贡献最小的特征.直到剩余特征个数符合要求。该方法在一个较大的变量集上计算准则函数.,,所以该算法相对SFs计算量要大。但其优势在于充分考虑特征之间的相关特性,因而在采用同样合理的准则函数的时候,它的实际计算性能和鲁棒性优于SFs算法。

5)广义序列后向选择方法(Gene谢ized

Secnlential

B∽k.

ward

selecti帆,GSBS)。该方法是SBS算法的加速算法。它根

据准则函数在算法的每个循环中.一次性删除一定个数的无用特征。它是一种可应用于实际过程的快速特征选择方法.其优点在于速度较快,性能相对较好。不足的是:有时候特征消除操作进行太快,容易丢失重要的变量.导致找不到最优的特征组合。

6)增Z去r选择方法。这种方法允许在特征选择过程中进行回朔,如果f>r,则该算法是自下而上的方法,用SFs方法将Z个特征加入到当前特征集中,然后再用SBS方法删除r个最差的特征。这种方法消除了嵌套问题.因为某一步获得的特征集不一定是下一步特征集的子集。如果Z<r,则算法为自上而下的方法。从一个原始特征集开始.依次删除r个特征,再增加Z个特征直到获得满足要求个数的特征。该方法实际上是SBS方法和SFs方法的一种折中.它的运算速度要比SBS快,运算效果要比S礴好。

7)广义增f去r特征选择方法。该方法是在增l去r方法的基础上,用GSF’s和GSBS分别替代SFs和SBS。前面所有讨论过的算法甚至可以看作是它的特例,因而它包含极其广泛的理论意义.但操作较为复杂.难以制定实际规则加

以利用。

8)浮动搜索方法。该方法改变上述一系列算法固定Z、r的基本做法,采用浮动的步长。也就是在选择算法的不同步骤,可以采用不同的Z、r。实际的每轮的Z、r可以根据特征的统计特点来制定。这是一种非常实用的改良机制。

从目前的研究进展来看。随机搜索策略和启发式搜索策略在特征选择中应用较广泛。

2.2按特征子集评价策略划分特征选择算法

如果在特征选择过程中依赖后续的学习算法来评价特征子集,即使用了在后续机器学习算法性能函数作为评价策略,则称为Wr印per方法,否则称为Filter方法。因此,这两者的本质区别在于特征选择的过程中,特征子集的评价是否用到在决策机器构造过程中所使用的学习算法脚一。2.2.1基于Fnter评价策略的特征选择方法

Filter方法【糊是一种计算效率较高的方法.它独立于后

续的学习算法,采用一些基于信息统计的启发式准则田调来

评价特征的预测能力,目前用的最多的阳ter方法是相关测

量法I捌、类间和类内距离测量法、信息熵法、t检验以及Reli.e伊等等。Filter方法通常根据特征评价准则选取预测能力较优的那些特征组成特征子集.其中存在的一个主要问题是它并不能保证选择出一个规模较小的优化特征子集.尤其是当特征和分类器关联较大时。因而,即使该类方法可以找到一

上一页第3页

你可能喜欢

  • 机器学习算法
  • weka教程
  • 实验教程
  • 高中物理弹簧问题
  • 养老服务体系建设
  • 特征方法
  • 数据分类

热门文档

相关文档

  • 【论文】特征选择算法综述

    第1 9卷 第 9期 V0.91 1No9. 电子 设计 工程 Eetoi sg niern lcrncDeinEgneig 21年 5月 01Ma.21y01 特征选择算 法综述 计 智伟 ,胡珉 ,尹建新 (....

  • 特征选择算法综述

     特征评估函数 "  停止准则  特征选择算法综述优特征子集是由若干个预测能力较强的特征组成的 0D2 相反  在 E()@@6( 方法中  用后续的学习算法...

  • 特征选择算法研究综述

    第20卷第2期2007年4月 模式识别与人工智能PR&AI V01.20Apr No.22007 特征选择算法研究综述*毛勇1周晓波2 夏 铮1 尹 征1310027) 孙优贤1 1(浙江大学信息...

  • 【论文】特征选择算法综述及进展研究

    20年第1卷第 6期 o80 总第 9期 3 巢湖学 院学 报 Juom oCah 0lg fhouC1ee No6.o.O20 ..1.08V1Gee SrN09 nrei .3 特征选择算法综述及进展研究 卜...

  • 特征选择常用算法综述

    特征选择常用算法综述 Posted on 2011-01-02 14:40 苍梧 阅读(11252) 评论(11) 编辑 收藏 1 综述 (1) 什么是特征选择 特征选择 ( Feature Selection )也称...

  • 【论文】基于支持向量机的特征选择算法综述

    基于支持向量机的特征选择算法综述_互联网_IT/计算机_专业资料。第1 5卷第 1期 201 4年2月 信息工程大学学报 Journal of Information Engine第...

  • 特征选择算法综述及基于weka的性能比较

    特征选择算法综述及基于weka的性能比较_自然科学_专业资料。关于特征选择算法数据挖掘中的特征选择算法综述及基于 WEKA 的性能比较陈良龙 (湖南大学信息科学与工程学院...

  • 特种选择算法综述

    特种选择算法综述_互联网_IT/计算机_专业资料。特种选择算法综述 1 简介特种选择作为一种常见的降维方法,是模式识别的研究热点之一。它是指从 高维的原始特征提取...

  • 特征选择综述

    特征选择综述_电力/水利_工程科技_专业资料。完整的介绍特征选择的意义及方法归类,同时也包含各个方法的比较。特征选择常用算法综述一.什么是特征选择(Featureselection...

  • 特征选择算法研究综述

    第20卷第2期2007年4月 模式识别与人工智能PR&AI V01.20Apr No.22007 特征选择算法研究综述*毛勇1周晓波2 夏 铮1 尹 征1310027) 孙优贤1 1(浙江大学信息...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email