文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 信息与通信 > 特征选择算法综述
侵权投诉

特征选择算法综述

自20世纪90年代以来,特征选择成为模式识别和机器学习领域的重要研究方向,研究成果十分显著,但是也存在许多问题需要进一步研究。本文首先将特征选择视为特征集合空间中的启发式搜索问题,对特征选择涉及的四个要素进行了阐述,然后从各个角度对特征选择算法进行了分类,概述了其各个分支的发展态势,最后探讨了基于多目标免疫优化的特征选择方法的研究思路。

计智伟,等 略;)征评估函数;)止准则。 3特 4停 11搜索起点和方向 .

特征选择算法综述 优特征子集是由若干个预测能力较强的特征组成的1 9 1。相反, Wr pr法中,后续的学习算法嵌入到特在 a e方 p用征选择过程中。过测试特征子集在此算法上的预测性能来通

搜索起点是算法开始搜索的状态点 .索方向是指评价搜的特征子集产生的次序。搜索的起点和搜索方向是相关的, 它们共同决定搜索策略。一般的,据不同的搜索起点和方根 向 .以下 4种情况:有 1前向搜索 )搜索起点是空集 S依据某种评价标准,,随

决定它的优劣,极少关注特征子集中每个特征的预测性能而如何。因此,二种评价标准并不要求最优特征子集中的每第个特征都是优秀的[。】 O l 14停止准则 .

着搜索的进行,未被包含在 S里的特征集中选择最佳的特从 征不断加入 S。 2后向搜索搜索起点是全集 S依据某种评价标准不 ) .

停止标准决定什么时候停止搜索,即结束算法的执行。 它与评价准则或搜索算法的选择以及具体应用需求均有关 联。常见的停止准则一般有: 1执行时间即事先规定了算法执行的时间。 ) 当到达所制定的时间就强制终止算法运行,输出结果。并 2评价次数即制定算法需要运算多少次 .常用于规 )通定随机搜索的次数。尤其当算法运行的结果不稳定的情况下,过若干次的运行结果找出其中稳定的因素。通

断从 S中剔除最不重要的特征,到达到某种停止标准。直 3双向搜索双向搜索同

时从前后两个方向开始搜索。 ) 一

般搜索到特征子集空间的中部时 .要评价的子集将会急需

剧增加。当使用单向搜索时,果搜索要通过子集空间的中如 部就会消耗掉大量的搜索时间,以双向搜索是比较常用的所

搜索方法。 4随机搜索随机搜索从任意的起点开始, ) 对特征的增 加和删除也有一定的随机性。 12搜索策略 .假设原始特征集中有 n个特征 (称输入变量 )那么存也。在—个可能的非空特征子集。搜索策略就是为了从包含 1 2-个候选解的搜索空间中寻找最优特征子集而采取的搜 n1

3 )设置阚值

一般是给算法的目标值设置一个评价阈

值,过目标与该阈值的比较决定算法停止与否。不过,设通要置一个合适的阈值并不容易,要对算法的性能有十分清晰需

的了解。否则,置阈值过高会使得算法陷入死循环。设阈值过 小则达不到预定的性能指标。

2特征选择方法分类 目前国际上对特征选择算法的研究主要集中在选择优化特征子集所需要的两个主要步骤上。搜索策略和评价标即准。因此,以从这两个方面来对特征选择方法进行分类:可 21按照搜索策略划分特征选择算法 .

索方法。搜索策略可大致分为以下 3:类 1穷举式搜索它可以搜索到每个特征子集。缺点是它 )

会带来巨大的计算开销,其当特征数较大时,算时间很尤计 长。分支定界法 ( rnha dB u d B[过剪枝处理缩短 B ac n on, B)通 6 1搜索时间。

根据算法在进行特征选择过程中所采用的搜索策略,可 以把特征选择算法分为采用全局最优搜索的特征选择算法、 采用随机搜索策略的特征选择算法和采用序列搜索策略的特征选择算法 3类。 211采用全局最优搜索的特征选择算法 ..

2序列搜索它避免了简单的穷举式搜索,搜索过程 )在 中依据某种次序不断向当前特征子集中添加或剔除特征,从而获得优化特征子集。比较典型的序列搜索算法如:向后前向搜索 I浮动搜索目双向搜索 r序列向前

和序列向后算法 7 l、、玎、等。序列搜索算法较容易实现,算复杂度相对较小,容易计但陷入局部最优。 3随机搜索由随机产生的某个候选特征子集开始。 ) 依照一定的启发式信息和规则逐步逼近全局最优解。例如:遗传算法 ( e e cAgrh G n t l i m,G、模拟退火算法 ( iuae i ot A) Sm l d t A n Mi,S )粒子群算法 ne n g A、 ( at l w r pi i t n P r c S am O t z i, i m ao

到目前为止。一采用全局最优搜索策略得到最优结果唯

的特征选择方法是“分支定界” Bac n o n ) ( rnhadB u d算法【1 I3 1J -。 该算法的主要思路是:义一个满足单调性条件的评价准则定函数,两个特征子集 S和 S而言。果 S是 S的子集,对 如’ 2那么 S所对应的评价函数值必须要小于 S所对应的评价函数‘ 值。在定义了该评价函数的前提下 .算法对最终特征子集该的选择过程可以用一棵树来描述。树根是所有特征的集合。 从树根可分性判据值和事先定义的最佳特征子集的特征数

P O) S和免疫算法 (m u eA grh I等。 I m n lo tm, A) i 13特征评估函数 .评价标准在特征选择过程中扮演着重要的角色 .是特它征选择的依据。评价标准可以分为两种:种是用于单独地一衡量每个特征的预测能力的评价标准:一种是用于评价某另个特征子集整体预测性能的评价标准。

目,索满足要求的特征子集。这个过程中可使用各种搜索搜 算法,如“例自上而下”索方法。使用不同的搜索算法可以搜

提高该方法的搜索效率,快运行速度,对于耗尽搜索方加相 法大大节约计算时间,是从统计的角度而言,的运算时但它间数量级与耗尽搜索仍然相差不远。

在 Fl 枷方法中 .般不依赖具体的学习算法来评价 ie t一特征子集,是借鉴统计学、息论等多门学科的思想,据而信根数据集的内在特性来评价每个特征的预测能力。而找出排从 序较优的若干个特征组成特

征子集。通常。类方法认为最此

采用这种搜索策略的特征选择算法 .能保证在事先确定优化特征子集中特征数目的情况下 .到相对于可分性判据找而言的最优特征子集。但在这类算法中存在 3个问题: ) 1由 。

-

4 7-

特征选择算法综述

上一页第2页

你可能喜欢

热门文档

相关文档

  • 特征选择算法综述

     特征评估函数 "  停止准则  特征选择算法综述优特征子集是由若干个预测能力较强的特征组成的 0D2 相反  在 E()@@6( 方法中  用后续的学习算法...

  • 特征选择算法研究综述

    第20卷第2期2007年4月 模式识别与人工智能PR&AI V01.20Apr No.22007 特征选择算法研究综述*毛勇1周晓波2 夏 铮1 尹 征1310027) 孙优贤1 1(浙江大学信息...

  • 【论文】特征选择算法综述及进展研究

    20年第1卷第 6期 o80 总第 9期 3 巢湖学 院学 报 Juom oCah 0lg fhouC1ee No6.o.O20 ..1.08V1Gee SrN09 nrei .3 特征选择算法综述及进展研究 卜...

  • 特征选择常用算法综述

    特征选择常用算法综述 Posted on 2011-01-02 14:40 苍梧 阅读(11252) 评论(11) 编辑 收藏 1 综述 (1) 什么是特征选择 特征选择 ( Feature Selection )也称...

  • 【论文】基于支持向量机的特征选择算法综述

    基于支持向量机的特征选择算法综述_互联网_IT/计算机_专业资料。第1 5卷第 1期 201 4年2月 信息工程大学学报 Journal of Information Engine第...

  • 特征选择算法综述及基于weka的性能比较

    特征选择算法综述及基于weka的性能比较_自然科学_专业资料。关于特征选择算法数据挖掘中的特征选择算法综述及基于 WEKA 的性能比较陈良龙 (湖南大学信息科学与工程学院...

  • 特种选择算法综述

    特种选择算法综述_互联网_IT/计算机_专业资料。特种选择算法综述 1 简介特种选择作为一种常见的降维方法,是模式识别的研究热点之一。它是指从 高维的原始特征提取...

  • 特征选择综述

    特征选择综述_电力/水利_工程科技_专业资料。完整的介绍特征选择的意义及方法归类,同时也包含各个方法的比较。特征选择常用算法综述一.什么是特征选择(Featureselection...

  • 特征选择算法研究综述

    第20卷第2期2007年4月 模式识别与人工智能PR&AI V01.20Apr No.22007 特征选择算法研究综述*毛勇1周晓波2 夏 铮1 尹 征1310027) 孙优贤1 1(浙江大学信息...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email