第19卷
V01.19
第9期
No.9
电子设计工程
ElectmnicDesignEnginee—ng
2011年5月
Mav.20ll
特征选择算法综述
计智伟1,胡珉2,尹建新1
(1.浙江农林大学信息工程学院,浙江临安311300;2.上海大学悉尼工商学院,上海200072)
摘要:自20世纪90年代以来。特征选择成为模式识别争机器学习领域的重要研究方向,研究成果十分显著,但是也存在许多问题需要进一步研究。本文首先将特征选择视为特征集合空间中的启发式搜索问题。对特征选择涉及的四个要素进行了阐述。然后从各个角度对特征选择算法进行了分类,概述了其各个分支的发展态势,最后探讨了基于多目标免疫优化的特征选择方法的研究思路。关键词:特征选择;特征子集;搜索;多目标优化
中图分类号:TPl8
文献标识码:A
文章编号:1674.6236(2011)09-00删6
A蜘Ⅱ叩eyOffeatureselectiona120ritluII
JIZhi—weil。HUMin2。YINJi肌.xinl
2.&^捌矿黝加,,,邶£础妇旷如伊呼&com撇rce,矾甜蝴‰妇e格渺,鼢凹lg槭200072,m讹)Ah岫Ict:FeatIlreh酗bt地n蚰imponamt砌眦hin叫temmco印ition明dle砌ing
8election
a地a
machinebe
tlIe20th
(1.ScIIIDDl矿删白丌,l以函,l西画,lee矗ng,巩f妇lgAg廊施H以矾d而陀s竹U砌e珞蚵,L访锄311300,吼i加;
since90’sof
fhnller
centIIry.GD∞t∞hievememsIlavebeenachieved,however肌uly
pmble吣mIIIain
search
to
un舳lved卸d舱ed
space0f
investig砒ion.Inthispaper,wefirstdescribefeature
selecti哪intemsofheuristie
tll姗J曲tlle
feature∞ts,
di船u韶ingtIlef曲rfkto礴infeatu陀鸵1ecti∞a190一thms,tlIen
diffb比n£poin协0ftlle
cl硝si母眦ny
popular
feature∞lectionalgoritllmshDm
view柚dintmd眦e∞veral
anew
embmnchmentsof
f白tu肥跎lection蛐dtlIedeveIopment.Atla8t,wediscuss
method.
re鸵archm伽ghtof
f曲ture鸵lecti佣如ritllmb拍ed佣multi-objectiveiIl】衄une叩timi疆tion
Key
wor凼:featu坨弛kction;featur鸭叫bset;鸵arch;multi.0bjectiveo砸mi强tion
特征选择(f毛atu陀∞lecti伽)作为一种常见的降维方法是模式识别的研究热点之一。它是指从原始特征集中选择使某种评估标准最优的特征子集。其目的是使选出的最优特征子集所构建的分类或回归模型达到和特征选择前近似甚至更好的预测精度。这不但提高了模型的泛化能力、可理解性和计算效率.同时可降低“维度灾难”的发生频率。
在机器学习领域中,特征选择被认为是跟学习算法紧密联系的一个问题。可表述为:给定一个学习算法L、一个数据集S,S来自一个特征X,,x2,X,,…,)【,I的具有类别标记Y的符合分布的样本空间,则一个最优特征子集X叩t是使得某个评价准则J=J(L,S)最优的特征子集。因此。该领域的学者认为特征选择的结果应该用学习算法来评价。
特征选择作为统计学领域的经典问题,自上个世纪60年代起就有学者对此进行了研究;同时,它也是机器学习领域的重要问题:自90年代以来,特征选择的研究引起了机器学习领域众多学者前所未有的重视.主要原因有以下三方面:1)许多学习算法的性能受到不相关或冗余特征的负面影响。大多数学习算法所需训练样本的数目随不相关特征的增
收稿日期:20ll—Ol一28
稿件编号:20llOl095
多而急剧增加【…。因此,选择好的特征不仅可以减小计算复杂度,提高预测精度,而且有助于寻找更精简的算法模型。2)大规模数据处理问题的不断出现,如信息检索,遗传基因
分析等刚。所谓大规模,一方面指样本数目的庞大,另一方面
指描述样本的特征维数高。3)随着应用领域的不断扩大。所遇到的数据类型也将不断变化。因此.特征选择算法的设计需要适应新的数据类型。正是由于上述原因。特征选择的研究成为模式识别和机器学习领域的重要课题。它具有重要的学术意义和实用价值。
1特征选择作为搜索问题的4个要素
一般而言。特征选择可以看作一个搜索寻优问题。对大小为n的特征集合,搜索空间由≯一1种可能的状态构成。Davie8等证明最小特征子集的搜索是一个NP问题嘲.即除了穷举式搜索。不能保证找到最优解。但实际应用中,当特征数目较多的时候.穷举式搜索因为计算量太大而无法应用。因此人们致力于用启发式搜索算法寻找次优解。一般特征选择算法必须确定以下4个要素:1)搜索起点和方向;2)搜索策
基金项目:国家自然科学基金(60970082);国家自然科学基金(50r778109);浙江省自然科学基金项目(Y1080777、Y309006l、Y3080457)
作者简介:计智伟(198卜),男,浙江嘉兴人,硕士。研究方向:人工智能与模式识别。
—佑一
万方数据
第1 9卷 第 9期 V0.91 1No9. 电子 设计 工程 Eetoi sg niern lcrncDeinEgneig 21年 5月 01Ma.21y01 特征选择算 法综述 计 智伟 ,胡珉 ,尹建新 (....
特征评估函数 " 停止准则 特征选择算法综述优特征子集是由若干个预测能力较强的特征组成的 0D2 相反 在 E()@@6( 方法中 用后续的学习算法...
第20卷第2期2007年4月 模式识别与人工智能PR&AI V01.20Apr No.22007 特征选择算法研究综述*毛勇1周晓波2 夏 铮1 尹 征1310027) 孙优贤1 1(浙江大学信息...
20年第1卷第 6期 o80 总第 9期 3 巢湖学 院学 报 Juom oCah 0lg fhouC1ee No6.o.O20 ..1.08V1Gee SrN09 nrei .3 特征选择算法综述及进展研究 卜...
特征选择常用算法综述 Posted on 2011-01-02 14:40 苍梧 阅读(11252) 评论(11) 编辑 收藏 1 综述 (1) 什么是特征选择 特征选择 ( Feature Selection )也称...
基于支持向量机的特征选择算法综述_互联网_IT/计算机_专业资料。第1 5卷第 1期 201 4年2月 信息工程大学学报 Journal of Information Engine第...
特征选择算法综述及基于weka的性能比较_自然科学_专业资料。关于特征选择算法数据挖掘中的特征选择算法综述及基于 WEKA 的性能比较陈良龙 (湖南大学信息科学与工程学院...
特种选择算法综述_互联网_IT/计算机_专业资料。特种选择算法综述 1 简介特种选择作为一种常见的降维方法,是模式识别的研究热点之一。它是指从 高维的原始特征提取...
特征选择综述_电力/水利_工程科技_专业资料。完整的介绍特征选择的意义及方法归类,同时也包含各个方法的比较。特征选择常用算法综述一.什么是特征选择(Featureselection...
第20卷第2期2007年4月 模式识别与人工智能PR&AI V01.20Apr No.22007 特征选择算法研究综述*毛勇1周晓波2 夏 铮1 尹 征1310027) 孙优贤1 1(浙江大学信息...
热门文档