文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 电力/水利 > 特征选择算法综述
侵权投诉

特征选择算法综述

计智伟,等特征选择算法综述

略:3)特征评估函数;4)停止准则。1.1搜索起点和方向

搜索起点是算法开始搜索的状态点,搜索方向是指评价的特征子集产生的次序。搜索的起点和搜索方向是相关的,它们共同决定搜索策略。一般的。根据不同的搜索起点和方向.有以下4种情况:

1)前向搜索搜索起点是空集S。依据某种评价标准,随着搜索的进行,从未被包含在S里的特征集中选择最佳的特

征不断加入S。

2)后向搜索搜索起点是全集S.依据某种评价标准不断从S中剔除最不重要的特征。直到达到某种停止标准。

3)双向搜索

双向搜索同时从前后两个方向开始搜索。

一般搜索到特征子集空间的中部时,需要评价的子集将会急剧增加。当使用单向搜索时。如果搜索要通过子集空间的中部就会消耗掉大量的搜索时间。所以双向搜索是比较常用的搜索方法。

4)随机搜索

随机搜索从任意的起点开始,对特征的增

加和删除也有一定的随机性。1.2搜索策略

假设原始特征集中有n个特征(也称输入变量),那么存在2L1个可能的非空特征子集。搜索策略就是为了从包含≯一1个候选解的搜索空间中寻找最优特征子集而采取的搜索方法。搜索策略可大致分为以下3类:

1)穷举式搜索它可以搜索到每个特征子集。缺点是它会带来巨大的计算开销.尤其当特征数较大时。计算时间很长。分支定界法(Br蚰ch卸dB0und,BB)”砸过剪枝处理缩短搜索时间。

2)序列搜索它避免了简单的穷举式搜索,在搜索过程中依据某种次序不断向当前特征子集中添加或剔除特征。从而获得优化特征子集。比较典型的序列搜索算法如:前向后向搜索研、浮动搜索嘲、双向搜索川、序列向前和序列向后算法等。序列搜索算法较容易实现,计算复杂度相对较小,但容易陷入局部最优。

3)随机搜索

由随机产生的某个候选特征子集开始,依

照一定的启发式信息和规则逐步逼近全局最优解。例如:遗传算法(C_eneticAl即ritIIm,GA)、模拟退火算法(SimuhledAnnealing,SA)、粒子群算法(ParticlSwa珊OptiIIIizati蜘,

PsO)和免疫算法(I咖u舱Al鼬rithm,IA)等。

1.3特征评估函数

评价标准在特征选择过程中扮演着重要的角色,它是特征选择的依据。评价标准可以分为两种:一种是用于单独地衡量每个特征的预测能力的评价标准:另一种是用于评价某个特征子集整体预测性能的评价标准。

在Filte—_韧方法中.一般不依赖具体的学习算法来评价特征子集.而是借鉴统计学、信息论等多门学科的思想,根据数据集的内在特性来评价每个特征的预测能力.从而找出排序较优的若干个特征组成特征子集。通常,此类方法认为最

万方数据

优特征子集是由若干个预测能力较强的特征组成的M。

相反,在Wrapper方法中,用后续的学习算法嵌人到特征选择过程中,通过测试特征子集在此算法上的预测性能来决定它的优劣.而极少关注特征子集中每个特征的预测性能如何。因此,第二种评价标准并不要求最优特征子集中的每个特征都是优秀的嗍。1.4停止准则

停止标准决定什么时候停止搜索,即结束算法的执行。它与评价准则或搜索算法的选择以及具体应用需求均有关联。常见的停止准则一般有:

1)执行时间

即事先规定了算法执行的时间.当到达所

制定的时间就强制终止算法运行,并输出结果。

2)评价次数

即制定算法需要运算多少次。通常用于规

定随机搜索的次数。尤其当算法运行的结果不稳定的情况下,通过若干次的运行结果找出其中稳定的因素。

3)设置阈值一般是给算法的目标值设置一个评价阈值,通过目标与该阈值的比较决定算法停止与否。不过,要设置一个合适的阈值并不容易。需要对算法的性能有十分清晰的了解。否则。设置阈值过高会使得算法陷入死循环.阈值过小则达不到预定的性能指标。

2特征选择方法分类

目前国际上对特征选择算法的研究主要集中在选择优化特征子集所需要的两个主要步骤上,即搜索策略和评价标准。因此。可以从这两个方面来对特征选择方法进行分类:2.1按照搜索策略划分特征选择算法

根据算法在进行特征选择过程中所采用的搜索策略,可以把特征选择算法分为采用全局最优搜索的特征选择算法、采用随机搜索策略的特征选择算法和采用序列搜索策略的特征选择算法3类。

2.1.1采用全局最优搜索的特征选择算法

到目前为止。唯一采用全局最优搜索策略得到最优结果

的特征选择方法是“分支定界”(B瑚ch柚dBound)算法【Il-删。

该算法的主要思路是:定义一个满足单调性条件的评价准则函数,对两个特征子集S-和s2而言。如果S1是s2的子集,那么S-所对应的评价函数值必须要小于S2所对应的评价函数值。在定义了该评价函数的前提下。该算法对最终特征子集的选择过程可以用一棵树来描述。树根是所有特征的集合。从树根可分性判据值和事先定义的最佳特征子集的特征数目,搜索满足要求的特征子集。这个过程中可使用各种搜索算法,例如“自上而下”搜索方法。使用不同的搜索算法可以提高该方法的搜索效率.加快运行速度.相对于耗尽搜索方法大大节约计算时间.但是从统计的角度而言。它的运算时间数量级与耗尽搜索仍然相差不远。

采用这种搜索策略的特征选择算法.能保证在事先确定优化特征子集中特征数目的情况下.找到相对于可分性判据而言的最优特征子集。但在这类算法中存在3个问题:1)由

—47—

上一页第2页

你可能喜欢

  • 机器学习算法
  • weka教程
  • 实验教程
  • 高中物理弹簧问题
  • 养老服务体系建设
  • 特征方法
  • 数据分类

热门文档

相关文档

  • 【论文】特征选择算法综述

    第1 9卷 第 9期 V0.91 1No9. 电子 设计 工程 Eetoi sg niern lcrncDeinEgneig 21年 5月 01Ma.21y01 特征选择算 法综述 计 智伟 ,胡珉 ,尹建新 (....

  • 特征选择算法综述

     特征评估函数 "  停止准则  特征选择算法综述优特征子集是由若干个预测能力较强的特征组成的 0D2 相反  在 E()@@6( 方法中  用后续的学习算法...

  • 特征选择算法研究综述

    第20卷第2期2007年4月 模式识别与人工智能PR&AI V01.20Apr No.22007 特征选择算法研究综述*毛勇1周晓波2 夏 铮1 尹 征1310027) 孙优贤1 1(浙江大学信息...

  • 【论文】特征选择算法综述及进展研究

    20年第1卷第 6期 o80 总第 9期 3 巢湖学 院学 报 Juom oCah 0lg fhouC1ee No6.o.O20 ..1.08V1Gee SrN09 nrei .3 特征选择算法综述及进展研究 卜...

  • 特征选择常用算法综述

    特征选择常用算法综述 Posted on 2011-01-02 14:40 苍梧 阅读(11252) 评论(11) 编辑 收藏 1 综述 (1) 什么是特征选择 特征选择 ( Feature Selection )也称...

  • 【论文】基于支持向量机的特征选择算法综述

    基于支持向量机的特征选择算法综述_互联网_IT/计算机_专业资料。第1 5卷第 1期 201 4年2月 信息工程大学学报 Journal of Information Engine第...

  • 特征选择算法综述及基于weka的性能比较

    特征选择算法综述及基于weka的性能比较_自然科学_专业资料。关于特征选择算法数据挖掘中的特征选择算法综述及基于 WEKA 的性能比较陈良龙 (湖南大学信息科学与工程学院...

  • 特种选择算法综述

    特种选择算法综述_互联网_IT/计算机_专业资料。特种选择算法综述 1 简介特种选择作为一种常见的降维方法,是模式识别的研究热点之一。它是指从 高维的原始特征提取...

  • 特征选择综述

    特征选择综述_电力/水利_工程科技_专业资料。完整的介绍特征选择的意义及方法归类,同时也包含各个方法的比较。特征选择常用算法综述一.什么是特征选择(Featureselection...

  • 特征选择算法研究综述

    第20卷第2期2007年4月 模式识别与人工智能PR&AI V01.20Apr No.22007 特征选择算法研究综述*毛勇1周晓波2 夏 铮1 尹 征1310027) 孙优贤1 1(浙江大学信息...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email