文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 信息与通信 > 特征选择算法综述
侵权投诉

特征选择算法综述

自20世纪90年代以来,特征选择成为模式识别和机器学习领域的重要研究方向,研究成果十分显著,但是也存在许多问题需要进一步研究。本文首先将特征选择视为特征集合空间中的启发式搜索问题,对特征选择涉及的四个要素进行了阐述,然后从各个角度对特征选择算法进行了分类,概述了其各个分支的发展态势,最后探讨了基于多目标免疫优化的特征选择方法的研究思路。

《电子设计工程》 0 1第 9期 2l年 于该算法无法对所有的特征依据其重要性进行排序,何事如 先确定最优特征子集中特征的数目是一个很大的问题。 ) 2合

.

步运行过程中删除一个对准则函数贡献最小的特征,到剩直

余特征个数符合要求。方法在一个较大的变量集上计算准该则函数 _所以该算法相对 S S计算量要大。其优势在于充,, F但 分考虑特征之间的相关特性。因而在采用同样合理的准则函数的时候,的实际计算性能和鲁棒性优于 S S算法。它 F

乎问题要求的满足单调性的可分性判据难以设计。 ) 3当处理 高维度多分类问题时,法要运行多次。算效率低下的问算计 题将非常明显。 212采用随机搜索策略的特征选择算法 ..

5广义序列后向选择方法 ( eea zdSq e t ak ) G nrle e u n a B c— i i l w r e co, S S。该方法是 S S算法的加速算法,根 adS l t n G B ) ei B它据准则函数在算法的每个循环中。次性删除一定个数的无一用特征。它是一种可应用于实际过程的快速特征选择方法 . 其优点在于速度较快,能相对较好。足的是:时候特征性不有消除操作进行太快,易丢失重要的变量。致找不到最优容导的特征组合。 6增 f r择方法。这种方法允许在特征选择过程中 )去选

特征选择本质上是一个组合优化问题。求解这类问题可采 用非全局最优目标搜索方法。其实现是依靠带有一定智能的随机搜索策略。在计算过程中把特征选择问题和模拟退火算法、它

禁忌搜索算法、遗传算法、子群算法或随机重采样 (ot rp粒 B os a ) t过程 -合。概率推理和采样过程作为算法基础。嘴以 遗传算法在这一领域的应用最为广泛。 Se l h

等学 W.i e i dc者提出早期的基于遗传算法和 K近邻分类器的特征选择方法。后是 J ag等学者又提出了使用遗传算法结合人工神然 . n Y 经网络分类器进行特征选择的方法【m。 ll 6 -通常此类方法是根据特征子集在训练集上的分类性能作为特征子集的评价准则。该方法可以得到一个近似最优解,较好的应用效果。但是,有当遇到特征数较多的情况,算法的运行会耗费大量的时间。 21 .3采用序列搜索策略的特征选择算法 .该算法主要有以下 8种:

进行回朔,果 lr则该算法是自下而上的方法 . S S方如>,用 F法将 Z特征加入到当前特征集中,后再用 S S方法删除个然 B r最差的特征。种方法消除了嵌套问题 .为某一步获得个这因的特征集不一定是下一步特征集的子集。如果 lr则算法为<, 自上而下的方法。从一个原始特征集开始,依次删除 r特个

征,增加 f特征直到获得满足要求个数的特征。方法实再个该际上是 S S方法和 S S方法的一种折中 .的运算速度要比 B F它

S S快,算效果要比 S S好。 B运 F 7广义增去 r征选择方法。该方法是在增 f r )特去方法的基础上, G F用 S S和 G B S S分别替代 S和 S S前面所 B。

1单独最优特征组合。该方法依靠计算各特征单独使用 )时的判据值对特征进行排序,前 d个特征作为满足条件的取 特征子集。在很多情况下。方法可以用来去掉一些不相关该的变量。由于特征排序采用的判据计算较为简单。此在很因大程度上能很快地缩减特征选择的范围 .作为一种特征预可 选方法 t一。 2

有讨论过的算法甚至可以看作是它的特例,因而它包含极其广泛的理论意义,操作较为复杂,以制定实际规则加但难 以利用。

8浮动搜索方法。该方法改变上述一系列算法固定 2r )、 的基本做法,用浮动的步长,就是在选择算法的不同步采也骤,以采用不同的 fr实际的每轮的 fr以根据特征的可、。、可

2序列

前向选择方法 (e unil ow r e ci, F ) ) Sq e t r a S l t n S S, aF d e o

它是一种“自下而上”的搜索方法。先把目标特征集初始化为 一

个空集,次向特征集合中增加一个特征,达到要求时每当

统计特点来制定。这是一种非常实用的改良机制。 从目前的研究进展来看,机搜索策略和启发式搜索策随略在特征选择中应用较广泛。 22按特征子集评价策略划分特征选择算法 .如果在特征选择过程中依赖后续的学习算法来评价特征子集,使用了在后续机器学习算法性能函数作为评价策即略,称为 Wrp e方法,则称为 Fl r法。因此,两者则 a pr否 ie方 t这的本质区别在于特征选择的过程中,征子集的评价是否用特到在决策机器构造过程中所使用的学习算法 2。 3 1 2 .基于 Fl r评价策略的特征选择方法 .1 2 ie t

所得到的特征集就作为特征选择结果。该过程可以描述为:

设原始特征集为 Q,假设当前特征集每一个未入选特征 e即 Q j(

包含 d 1个特征,对

中的特征 )计算其准则函数

(+『’择使最大的那个特征,把它加入到集合 e)选并 中。实际上,算法的每一步都选择一个特征加入到当前在

集合,得特征选择准则最大。类算法的计算量相对较小,使这 但它没有充分考虑特征之间的相关性。 3 )广义序列向前选择方法 ( e ea z d S q e t r G n rl e e u ni F - i l ao

w a e c o, S S。该方法是 SS算法的加速方法,可 rdS l t n G F ) ei F它以根据准则函数一次性向特征集合中增加 r特征,就是个也

Fl r法【是一种计算效率较高的方法,独立于后 ie方 t它 续的学习算法,用一些基于信息统计的启发式准则嘲来采评价特征的预测能力,目前用的最多的 Fl r法是相关测 ie方 t量法[、间和类内距离测量法、息熵法、检验以及 R l 2类 9 1信 t ei .

在没有入选最优特征子集的剩余特征中,寻找一个规模为 r 的小特

征集 Y,得 JXm Y )大。方法相对于 S S在特 r使 (+ r最该 F

征相关性方面的问题上则要稍好些,是计算量相对 S S增但 F大许多,在 S S中出现的问题依旧难以彻底解决。且 F 4序列后向选择方法 (e u ni ak adS l t n ) S q et B c w r e ci, l a e o S S。该方法是一种自上而下的搜索方法,在运行之初假 B)它定整个原始特征集就是所求的优化特征集。后在算法的每而 —

eF等等。Fl r法通常根据特征评价准则选取预测能力较 f ie方 t 优的那些特征组成特征子集,中存在的一个主要问题是它其并不能保证选择出一个规模较小的优化特征子集。其是当尤

特征和分类器关联较大时。而,因即使该类方法可以找到一

4 8一

特征选择算法综述

上一页第3页

你可能喜欢

热门文档

相关文档

  • 特征选择算法综述

     特征评估函数 "  停止准则  特征选择算法综述优特征子集是由若干个预测能力较强的特征组成的 0D2 相反  在 E()@@6( 方法中  用后续的学习算法...

  • 特征选择算法研究综述

    第20卷第2期2007年4月 模式识别与人工智能PR&AI V01.20Apr No.22007 特征选择算法研究综述*毛勇1周晓波2 夏 铮1 尹 征1310027) 孙优贤1 1(浙江大学信息...

  • 【论文】特征选择算法综述及进展研究

    20年第1卷第 6期 o80 总第 9期 3 巢湖学 院学 报 Juom oCah 0lg fhouC1ee No6.o.O20 ..1.08V1Gee SrN09 nrei .3 特征选择算法综述及进展研究 卜...

  • 特征选择常用算法综述

    特征选择常用算法综述 Posted on 2011-01-02 14:40 苍梧 阅读(11252) 评论(11) 编辑 收藏 1 综述 (1) 什么是特征选择 特征选择 ( Feature Selection )也称...

  • 【论文】基于支持向量机的特征选择算法综述

    基于支持向量机的特征选择算法综述_互联网_IT/计算机_专业资料。第1 5卷第 1期 201 4年2月 信息工程大学学报 Journal of Information Engine第...

  • 特征选择算法综述及基于weka的性能比较

    特征选择算法综述及基于weka的性能比较_自然科学_专业资料。关于特征选择算法数据挖掘中的特征选择算法综述及基于 WEKA 的性能比较陈良龙 (湖南大学信息科学与工程学院...

  • 特种选择算法综述

    特种选择算法综述_互联网_IT/计算机_专业资料。特种选择算法综述 1 简介特种选择作为一种常见的降维方法,是模式识别的研究热点之一。它是指从 高维的原始特征提取...

  • 特征选择综述

    特征选择综述_电力/水利_工程科技_专业资料。完整的介绍特征选择的意义及方法归类,同时也包含各个方法的比较。特征选择常用算法综述一.什么是特征选择(Featureselection...

  • 特征选择算法研究综述

    第20卷第2期2007年4月 模式识别与人工智能PR&AI V01.20Apr No.22007 特征选择算法研究综述*毛勇1周晓波2 夏 铮1 尹 征1310027) 孙优贤1 1(浙江大学信息...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email