文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 信息与通信 > 特征选择算法综述
侵权投诉

特征选择算法综述

自20世纪90年代以来,特征选择成为模式识别和机器学习领域的重要研究方向,研究成果十分显著,但是也存在许多问题需要进一步研究。本文首先将特征选择视为特征集合空间中的启发式搜索问题,对特征选择涉及的四个要素进行了阐述,然后从各个角度对特征选择算法进行了分类,概述了其各个分支的发展态势,最后探讨了基于多目标免疫优化的特征选择方法的研究思路。

计智伟。等

特征选择算法综述 出了将这两种模式进行结合的组合式特征选择算法 .其基本思想是:用 Fl r型作特征预选,除部分不相关特先 ie模 t剔

个满足条件的优化子集,子集的规模也会较大,其中会该在 包含一些明显的噪声特征 .寻找关键性的特征和产生类区给别的源头带来较大阻碍。方法的一个明显优势在于可以很该快地排除一部分非关键性的噪声特征,小优化特征子集搜缩索范围,可作为特征的预选器。 222基于 W rp e .. a p r方法评价策略的特征选择算法 Wrp e方法在特征选择时依赖具体机器学习算法。它 a pr在筛选特征的过程中直接用所选特征子集来训练学习器。根据测试集在学习器上的性能表现来评价该特征子集的优劣。

征,降低数据集维度;用 Wrp e模型在预选特征集上做 再 a pr 进一步的特征精选。如 H ag提出的一种两阶段组合式特 un

征选择算法圈, a提出的组合式算法㈣,i pn u (0 8 Ds J igH a 2 0 ) ̄ 等提出了一种适用于高维数据集的两阶段组合式特征选择

算法。0 g nu等人还提出了一种基于信息融合的组合 zeU c式特征选择方法。算法模型中包含了四个“阶段特征选

其两 择算法”。

该方法在计算效率上不如 Fl r ie方法。但其所选的优化特征 t 子集的规模相对要小一些。目前 .类方法是特征选择研究此领域的热点。

然而 .目前的二阶段组合式特征选择算法的性能主要受以下因素的影响:)第一阶段的 ̄l r型中采用何种特征 1 t模 e评价准则较好; )高维情况下,二阶段的 Wrp e模型 2在第 ap r 的计算开销仍然很大。

在文献『0 31中,作者提出用决策树来进行特征选择的 Wrp r法。中用遗传算法来寻找使得决策树分类错误率 a ̄方文最小的一组特征子集。文献【7中, hr 1】 ̄se判别分析结合遗传算 法被用来在化工故障过程中辨识关键变量,取得较好效果。文献 f7结合正态极大似然模型来进行特征选择和分类,给出 2】并

3基于多目标免疫优化的特征选择方法 现今 .多算法单纯地用特征子集的预测能力或者特征很集规模作为特征选择的依据,该问题看成是一个单目标优将

了满意的实验结果。在文献[1,者用遗传算法结合人工 3】作中神经网络进行同样尝试。文献 f 1用了支持向量机 S M作 3采 2 V为分类器,比神经网络、策树,它决 k近邻分类算法的分类性能 更为优越,所选择的优化特征子集的分类准确率能进一步提

化问题。略了特征选择的其他要素或约束条件。使所得忽致的优化特征子集不能满足特定应用的需求。 在很多情况下,征选择需要同时考虑优化特征子集的特预测能力 (类器的分类准确率或回归器的预测精度 )特征分、子集的规模,以及领域先验知识的约束等。些因素之间可这能是相互冲突的。因此,征选择应看成是一个多目标优化特问题:特征子集规模、测能力以及其他约束条件等多个在预目标下求得折中解或平衡解。 有部分文献中提出的 Wrp e apr模型虽已考虑到了要将

高。在以上这些 Wrp e方法中,者都是直接通过分类器的 ap r作分类性能来评价特征的可用性。这类方法实际上是 Wrp e ap r 方法和随机

搜索策略的结合,结果较好,其但运算时间较长。

在文献【4、 3、 4中用序列搜索策略 (B,,S 2][ 1【】 3 3 S SS F一 )分类性能评价准则相结合来评价所选的特征。也取得和不错的效果,对于使用随机搜索策略的方法,约了不少相节 时间。但是该类算法的实用性依然是一个值得关注的问题。 Wr pr法特征选择过程中的时间主要消耗在成千上万次 a e方 p学习器的训练和这些学习器在测试集上的性能验证上。的它

预测精度和特征子集规模等几个因素同时优化,主要采用但 线性加权的方式将多个因素表示成一个线性表达式。由于各因素之间的权重值很难合理地确定,次求得的最优特征子每

集均是针对某一种权重组合下的最优解,方法存在着明显此 的缺陷。而 Fl r法本身的特点决定了它在预测能力和 ie方 t

主要问题存在于评价策略的直接性。由于每个学习器都会存在一定的弱点,因此, hn . agHu g提出了一种将多 C e nJ n n等 u 个分类器进行组合的 Wrp e方法。个分类器均对同一个 ap r每特征子集进行预测能力评价。后采取投票表决的方式评价最特征子集的优劣。该方法虽然在评价策略上取得了更为可靠的结果。也延长了计算时间。但 因此 .ie方法和 Wrpe Fl r t a pr方法各有优缺点:ie Fl r方 t法的计算开销相对较低:而 Wrp e方法获得的特征子集 a pr

特征子集规模两个方面均不能得到明显的优化,映的是数反 据集的一般特性。当数据集规模较小时。ie方法的结果缺 Fl r t乏合理性。此外,目前简单的组合式特征选择方法虽比单独使用 ̄l r法或 Wrp e方法有一定改善。但它存在的问 t方 e a pr题仍然很明显: )第一阶段的 Fl r程需删除多少个特征 1 ie过 t

为宜没有明确的标准;)二阶段的 Wrp e过程如何使各 2第 ap r 个因素得到同时优化。

的预测能力较高。但速度慢,且丧失了数据的一般特性。 Fl r

法和 Wrp e方法的选用视应用而定。对于高维数 ie方 t a pr据集的应用问题应该选择 Flr法,降低计算开销。若 i方 e可对预测性能要求较高且对计算复杂性可以容忍的情况下 . Wmp r法是适用的。在数据挖掘领域 .于数据量一般 ̄方由

因此,们有必要探讨如何用多目标优化算法来解特征我选择问题。文献[ 1明了人工免疫系统比 G 3说 7 A等进化算法

具有更快的收敛速度和寻优性能。文献[8提出了用自适应 31 免疫算法解决多目标优化问题的优越性。本文提出了一种多目标免疫优化算法的设计思路用于特征选择问题求解。得使所选最优特征集在预测能力、征子集规模以及领域先验知特

都很庞大。以使用 Fh r法比较多。所 ie方 22 F tr和 W r p r合式算法 .3 ie . l a ̄组

识约束等多个因素上同时进行优化 .到一个能综合考虑诸得 多因素的均衡解。该算法大致流程如图 1所示。 -

由于 Fl r Wrp e是两种互补的模式,少学者提 ie和 t ap r不

49 -

特征选择算法综述

上一页第4页

你可能喜欢

热门文档

相关文档

  • 特征选择算法综述

     特征评估函数 "  停止准则  特征选择算法综述优特征子集是由若干个预测能力较强的特征组成的 0D2 相反  在 E()@@6( 方法中  用后续的学习算法...

  • 特征选择算法研究综述

    第20卷第2期2007年4月 模式识别与人工智能PR&AI V01.20Apr No.22007 特征选择算法研究综述*毛勇1周晓波2 夏 铮1 尹 征1310027) 孙优贤1 1(浙江大学信息...

  • 【论文】特征选择算法综述及进展研究

    20年第1卷第 6期 o80 总第 9期 3 巢湖学 院学 报 Juom oCah 0lg fhouC1ee No6.o.O20 ..1.08V1Gee SrN09 nrei .3 特征选择算法综述及进展研究 卜...

  • 特征选择常用算法综述

    特征选择常用算法综述 Posted on 2011-01-02 14:40 苍梧 阅读(11252) 评论(11) 编辑 收藏 1 综述 (1) 什么是特征选择 特征选择 ( Feature Selection )也称...

  • 【论文】基于支持向量机的特征选择算法综述

    基于支持向量机的特征选择算法综述_互联网_IT/计算机_专业资料。第1 5卷第 1期 201 4年2月 信息工程大学学报 Journal of Information Engine第...

  • 特征选择算法综述及基于weka的性能比较

    特征选择算法综述及基于weka的性能比较_自然科学_专业资料。关于特征选择算法数据挖掘中的特征选择算法综述及基于 WEKA 的性能比较陈良龙 (湖南大学信息科学与工程学院...

  • 特种选择算法综述

    特种选择算法综述_互联网_IT/计算机_专业资料。特种选择算法综述 1 简介特种选择作为一种常见的降维方法,是模式识别的研究热点之一。它是指从 高维的原始特征提取...

  • 特征选择综述

    特征选择综述_电力/水利_工程科技_专业资料。完整的介绍特征选择的意义及方法归类,同时也包含各个方法的比较。特征选择常用算法综述一.什么是特征选择(Featureselection...

  • 特征选择算法研究综述

    第20卷第2期2007年4月 模式识别与人工智能PR&AI V01.20Apr No.22007 特征选择算法研究综述*毛勇1周晓波2 夏 铮1 尹 征1310027) 孙优贤1 1(浙江大学信息...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email