有关OpenCV和图像处理的书
第26卷第3期Vol.26 No.3
统计与信息论坛
Statistics&InformationForum
2011年3月Mar.,2011
统计理论与方法
随机森林方法研究综述
方匡南a,b,吴见彬a,朱建平a,b,谢邦昌a,b
(厦门大学a.经济学院计划统计系;b.数据挖掘研究中心,福建厦门361005)
摘要:随机森林(RF)是一种统计学习理论,它是利用bootsrap重抽样方法从原始样本中抽取多个样本,对每个bootsrap样本进行决策树建模,然后组合多棵决策树的预测,通过投票得出最终预测结果。它具有很高的预测准确率,对异常值和噪声具有很好的容忍度,且不容易出现过拟合,在医学、生物信息、管理学等领域有着广泛的应用。为此,介绍了随机森林原理及其有关性质,讨论其最新的发展情况以及一些重要的应用领域。
关键词:随机森林;分位数回归森林;生存回归森林;应用
中图分类号:O212:F222.3 文献标志码:A 文章编号:1007-3116(2011)03-0032-07
一、引 言
由于传统的分类模型往往精度不高,且容易出现过拟合问题。因此,很多学者通过聚集多个模型来提高预测精度,这些方法称为组合(ensemble)或分类器组合(classifiercombination)方法。首先利用训练数据构建一组基分类模型(baseclassifier),然后通过对每个基分类模型的预测值进行投票(因变量为分类变量时)或取平均值(因变量为连续数值变量时)来决定最终预测值。为了生成这些组合模型,通常需要生成随机向量来控制组合中每个决策树的生长。bagging是早期组合树方法之一,又称自助聚集(bootstrapaggregating),是一种从训练集中随机抽取部分样本(不一定有放回抽样)来生成决策树的方法[1]。另外一种方法是随机分割选取,该方法在每个结点从k个最优分割中随机选取一种分割[2]。Ho关于随机子空间(Randomsubspace)方法做了很多研究,该方法通过对特征变量随机选取子集来生成每棵决策树。Amit和Geman定义了很多几何属性以及从这些随机选择属性中寻找每个结点的最优分割。该方法对Breiman2001年提
收稿日期:2010-08-10
[4]
[3]
出的随机森林(RF)起了很大的启发作用[5]。
以上这些方法的一个共同特征是,为第k棵决策树生成随机向量 k,且 k独立同分布于前面的随机向量 1, , k-1。利用训练集和随机向量 k生成一棵决策树,得到分类模型h(X, k),其中X为输入变量(自变量)。比如,在bagging方法中,随机向量 可以理解为通过随机扔N把飞镖在N个箱子上扔中的结果生成,其中N是训练集中的样本记录数。在生成许多决策树后,通过投票方法或取平均值作为最后结果,我们称这个为随机森林方法。
随机森林(RF)是一种统计学习理论,它是利用bootsrap重抽样方法从原始样本中抽取多个样本,对每个bootsrap样本进行决策树建模,然后组合多棵决策树的预测,通过投票得出最终预测结果。大量的理论和实证研究都证明了RF具有很高的预测准确率,对异常值和噪声具有很好的容忍度,且不容易出现过拟合。可以说,RF是一种自然的非线性建模工具,是目前数据挖掘、生物信息学的最热门的前沿研究领域之一。目前中国对RF的研究还是非常少,因此,系统地总结整理RF最新的理论和应用研究情况很有意义。
基金项目:中央高校基本科研业务费专项资金 基于数据挖掘的数据质量管理研究 (2010221040);国家统计局重点项目
金融风险中的统计方法 (2009LZ045)
作者简介:方匡南,男,浙江台州人,经济学博士,助理教授,研究方向:数据挖掘、金融计量;
吴见彬,女,福建宁德人,硕士生,研究方向:数据挖掘。
随机森林综述_数学_自然科学_专业资料。第26卷第3期VoL26No.3 统计与信息论坛...RFS在每个结 点处,只随机抽取m个变量建模,而不是将全部自 变量都作为分割点...
暂无评价 4页 免费 资料9-RFs-随机森林方法研... 7页 2财富值喜欢此文档的还喜欢 随机森林综述 41页 2财富值搜你所想,读你所爱 拒绝盗版,...
百度文库 专业资料 农林牧渔 林学专题推荐 北师大二附理科学霸高中... 东北师大...Bang-chang 随机森林方法 研究综述[期刊论文]-统计与信息论坛2011,26(3) 4. ...
资料9-RFs-随机森林方法研... 7页 2财富值 随机森林综述 41页 2财富值 基于...第2期 李海峰, 等: 基于颜色特征的图像分类技术研究 & 157 & 令属性矢量 Z...
随机森林综述_工学_高等教育_教育专区。随机森林综述南开大学 硕士学位论文 随机森林综述 姓名:刘艳丽 申请学位级别:硕士 专业:应用数学 指导教师:阮吉寿 20081101 ...
森林碳汇研究的计量方法及研究现状综述_专业资料。随着《京都议定书》的签定,碳汇造林的广泛开展,森林碳汇的计量问题也越来越受到人们的重视。本文介绍了现今国内外普...
森林土壤种子库研究方法综述_专业资料。森林生态系统是陆地上重要的生态系统之一,具有多样的生态功能。森林土壤种子库作为潜在的植物群落,是森林未来地上植被发生的源泉...
森林地上生物量估测方法研究综述张( 1 国家林业局调查规划设计院 志 1 田 昕...类型蓄积量资料, 算了全球森 林地上生物量, 指出 热带郁闭森林和非郁闭森林的...
资料9-RFs-随机森林方法研... 7页 2财富值 RFS 微波天线资料 56页 免费搜你所想,读你所爱 拒绝盗版,营造绿色文库 如要投诉违规内容,请到百度文库投诉中心;...
随机森林方法在基因表达数据分析中的应用及研究进展_医药卫生_专业资料。研究进展?437? 随机森林方法在基因表达数据分析中的应用及研究进展奉哈尔滨医科大学卫生统计学...
热门文档