计智伟。等特征选择算法综述
个满足条件的优化子集.该子集的规模也会较大.在其中会包含一些明显的噪声特征.给寻找关键性的特征和产生类区别的源头带来较大阻碍。该方法的一个明显优势在于可以很快地排除一部分非关键性的噪声特征,缩小优化特征子集搜索范围。可作为特征的预选器。
2.2.2基于Wmp呻r方法评价策略的特征选择算法
Wrapper方法在特征选择时依赖具体机器学习算法。它在筛选特征的过程中直接用所选特征子集来训练学习器,根据测试集在学习器上的性能表现来评价该特征子集的优劣。该方法在计算效率上不如Filter方法,但其所选的优化特征子集的规模相对要小一些。目前,此类方法是特征选择研究领域的热点。
在文献【30]中,作者提出用决策树来进行特征选择的Wmpper方法,文中用遗传算法来寻找使得决策树分类错误率最小的一组特征子集。文献【17】中,Fisher判别分析结合遗传算法被用来在化工故障过程中辨识关键变量,取得较好效果。文献【271结合正态极大似然模型来进行特征选择和分类,并给出了满意的实验结果。在文献【3l】中,作者用遗传算法结合人工神经网络进行同样尝试。文献【32】采用了支持向量机SVM作为分类器,它比神经网络、决策树,k近邻分类算法的分类性能更为优越.所选择的优化特征子集的分类准确率能进一步提高。在以上这些Wmpper方法中,作者都是直接通过分类器的
分类性能来评价特征的可用性。这类方法实际上是W即per
方法和随机搜索策略的结合。其结果较好。但运算时间较长。
在文献【24】、【33】、【34】中用序列搜索策略(SBS,SFs,陲
Fs)和分类性能评价准则相结合来评价所选的特征,也取得不错的效果.相对于使用随机搜索策略的方法,节约了不少时间。但是该类算法的实用性依然是一个值得关注的问题。Wmpper方法特征选择过程中的时间主要消耗在成千上万次学习器的训练和这些学习器在测试集上的性能验证上。它的主要问题存在于评价策略的直接性。由于每个学习器都会存在一定的弱点,因此,Che加Ju绷gHu柚g等提出了一种将多个分类器进行组合的Wmpper方法,每个分类器均对同一个特征子集进行预测能力评价,最后采取投票表决的方式评价特征子集的优劣IIq。该方法虽然在评价策略上取得了更为可靠的结果.但也延长了计算时间。
因此,Filter方法和Wrapper方法各有优缺点:Filter方法的计算开销相对较低;而Wmpper方法获得的特征子集的预测能力较高,但速度慢,且丧失了数据的一般特性。
Filter方法和W唧per方法的选用视应用而定。对于高维数
据集的应用问题应该选择Filter方法,可降低计算开销。若对预测性能要求较高且对计算复杂性可以容忍的情况下,Wmpper方法是适用的。在数据挖掘领域,由于数据量一般都很庞大。所以使用Filter方法比较多。
纰.3
Fnter和W腿pp盯组合式算法
由于Filter和W唧per是两种互补的模式,不少学者提
万方数据
出了将这两种模式进行结合的组合式特征选择算法.其基本思想是:先用Filter模型作特征预选,剔除部分不相关特征,降低数据集维度;再用Wrapper模型在预选特征集上傲进一步的特征精选。如Huang提出的一种两阶段组合式特征选择算法阁.D鹅提出的组合式算法旧。JianpingHua(2008)等提出了一种适用于高维数据集的两阶段组合式特征选择算法p啊。OzgeUncu等人还提出了一种基于信息融合的组合式特征选择方法,其算法模型中包含了四个“两阶段特征选择算法”。
然而,目前的二阶段组合式特征选择算法的性能主要受以下因素的影响:1)第一阶段的Filter模型中采用何种特征评价准则较好;2)在高维情况下,第二阶段的Wmpper模型的计算开销仍然很大。
3基于多目标免疫优化的特征选择方法
现今。很多算法单纯地用特征子集的预测能力或者特征集规模作为特征选择的依据.将该问题看成是一个单目标优化问题,忽略了特征选择的其他要素或约束条件,致使所得的优化特征子集不能满足特定应用的需求。
在很多情况下,特征选择需要同时考虑优化特征子集的预测能力(分类器的分类准确率或回归器的预测精度)、特征子集的规模,以及领域先验知识的约束等.这些因素之间可能是相互冲突的。因此,特征选择应看成是一个多目标优化问题:在特征子集规模、预测能力以及其他约束条件等多个目标下求得折中解或平衡解。
有部分文献中提出的W唧per模型虽已考虑到了要将
预测精度和特征子集规模等几个因素同时优化。但主要采用线性加权的方式将多个因素表示成一个线性表达式。由于各因素之间的权重值很难合理地确定.每次求得的最优特征子集均是针对某一种权重组合下的最优解,此方法存在着明显的缺陷网。而Filter方法本身的特点决定了它在预测能力和特征子集规模两个方面均不能得到明显的优化.反映的是数据集的一般特性。当数据集规模较小时.Filter方法的结果缺乏合理性。此外,目前简单的组合式特征选择方法虽比单独
使用Filter方法或W呷per方法有一定改善,但它存在的问
题仍然很明显:1)第一阶段的Filter过程需删除多少个特征为宜没有明确的标准;2)第二阶段的Wr印per过程如何使各个因素得到同时优化。
因此.我们有必要探讨如何用多目标优化算法来解特征选择问题。文献【37】说明了人工免疫系统比GA等进化算法具有更快的收敛速度和寻优性能。文献【38】提出了用自适应免疫算法解决多目标优化问题的优越性。本文提出了一种多目标免疫优化算法的设计思路用于特征选择问题求解。使得所选最优特征集在预测能力、特征子集规模以及领域先验知识约束等多个因素上同时进行优化,得到一个能综合考虑诸多因素的均衡解。该算法大致流程如图l所示。
—49—
第1 9卷 第 9期 V0.91 1No9. 电子 设计 工程 Eetoi sg niern lcrncDeinEgneig 21年 5月 01Ma.21y01 特征选择算 法综述 计 智伟 ,胡珉 ,尹建新 (....
特征评估函数 " 停止准则 特征选择算法综述优特征子集是由若干个预测能力较强的特征组成的 0D2 相反 在 E()@@6( 方法中 用后续的学习算法...
第20卷第2期2007年4月 模式识别与人工智能PR&AI V01.20Apr No.22007 特征选择算法研究综述*毛勇1周晓波2 夏 铮1 尹 征1310027) 孙优贤1 1(浙江大学信息...
20年第1卷第 6期 o80 总第 9期 3 巢湖学 院学 报 Juom oCah 0lg fhouC1ee No6.o.O20 ..1.08V1Gee SrN09 nrei .3 特征选择算法综述及进展研究 卜...
特征选择常用算法综述 Posted on 2011-01-02 14:40 苍梧 阅读(11252) 评论(11) 编辑 收藏 1 综述 (1) 什么是特征选择 特征选择 ( Feature Selection )也称...
基于支持向量机的特征选择算法综述_互联网_IT/计算机_专业资料。第1 5卷第 1期 201 4年2月 信息工程大学学报 Journal of Information Engine第...
特征选择算法综述及基于weka的性能比较_自然科学_专业资料。关于特征选择算法数据挖掘中的特征选择算法综述及基于 WEKA 的性能比较陈良龙 (湖南大学信息科学与工程学院...
特种选择算法综述_互联网_IT/计算机_专业资料。特种选择算法综述 1 简介特种选择作为一种常见的降维方法,是模式识别的研究热点之一。它是指从 高维的原始特征提取...
特征选择综述_电力/水利_工程科技_专业资料。完整的介绍特征选择的意义及方法归类,同时也包含各个方法的比较。特征选择常用算法综述一.什么是特征选择(Featureselection...
第20卷第2期2007年4月 模式识别与人工智能PR&AI V01.20Apr No.22007 特征选择算法研究综述*毛勇1周晓波2 夏 铮1 尹 征1310027) 孙优贤1 1(浙江大学信息...
热门文档