文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 计划/解决方案 > 营销/活动策划 > 一种改进的PEP决策树剪枝算法
侵权投诉

一种改进的PEP决策树剪枝算法

决策树

一种改进的PEP决策树剪枝算法

AnImproveAlgorithmforDecisionTreePruning

罗涛1王华金2LuoTaoWangHuajin

(1.江西现代职业技术学院信息工程学院,江西南昌330095;2.江西理工大学信息工程学院,江西赣州341000)(1.SchoolofInformationandEngineering,JiangxiModernPolytechnicCollege,JiangxiNanchang330095;2.SchoolofInformation

andEngineering,JiangxiUniversityofScienceandTechnology,JiangxiGanzhou341000)

摘

要:剪枝过程是决策树分类学习中的重要环节,能够简化决策树并提高决策树的泛化能力,避免对训练数据集的过

一

种改进的PEP决策树剪枝算法

适应。在PEP算法的基础上,本文提出了一种改进的决策树剪枝算法IPEP,实验结果表明,该算法剪枝效果较PEP算法更好。

关键词:数据挖掘;决策树;剪枝;PEP中图分类号:TP18

文献标识码:A

文章编号:1671-4792-(2010)6-0049-03

Abstract:Pruningisanimportantpartofdecisiontreeinduction,whichcansimplifyandpopulatedecisiontreesandavoidtheover-fittingquestion.Inthispaper,weproposeanimprovealgorithmfordecisiontreepruningbasedonPEP,namedIPEP.TheresultofexperimentsshowsthatIPEPhasabetterpruningeffectthanPEP.

Keywords:Datamining;Decisiontree;Pruning;PEP0引言

决策树分类(DecisionTreeClassification)是数据挖掘领域中的重要分支之一。决策树分类学习是以实例数据为基础,通过一组无次序、无规则的实例推理出决策树表示形式的分类规则。如果给定的训练数据集中的数据能准确地反映分析对象的本质,则对应的决策树就能够准确地对该问题进行分类。

决策树是判断给定样本与某种属性相关联的决策过程的一种表示方法。决策树的每个内部节点是对属性的一个测试,每个分支代表一个测试输出,每个叶节点标识某个类别经内部节点或类别的分布。当一个待分类的样本沿根节点,

的测试达到某个叶节点时,则判定该样本属于此叶节点所标识的类别。

创建决策树的过程,即树的生长过程是不断地把训练数据集进行划分的过程,每次划分对应一个属性,也对应着一个内部节点,划分所选的属性应使划分后的分组“差异”最决策树生成算法的不同主要体现在对“差异”的衡量方式大。

上,例如ID3采用信息熵增益衡量差异,C4.5则采用增益比衡量差异。

然而,由于实际问题中存在许多不确定的因素,根据决策树构造算法所创建的决策树将会变得大而复杂,通常直接生成的完全决策树对训练样本的特征描述得“过于精确”,无

完全决策树虽然能非常准确地法实现对新样本的合理分析。

反映训练集中数据的特征,但因失去了一般代表性而无法用于对新数据的分类或预测,这种现象称为“过适应”(over-fit-ting)。

解决过适应问题的主要方法是对决策树进行剪枝,剪去决策树剪枝主要涉及决策树的简化和影响预测精度的分枝。

精度两方面的问题,其目的就是在不减少精度的前提下,简化原始决策树,从而使获得的知识更加容易理解。决策树剪枝过程就是为了简化决策树,提高决策树的泛化能力,避免对训练数据集的过适应。在实际应用中,选择哪种剪枝算法要在分类精确度与树的复杂程度之间进行权衡,要将不同算法的特点与实际数据集相结合,以此来决定剪枝策略,这样才能在精确度和复杂度中找到合理的平衡点,较好地解决应用当中的具体问题。

目前存在许多种不同的剪枝方法,分为预剪枝和后剪枝因此应两大类。预剪枝的缺点是使树的生长可能过早停止,用较少;后剪枝则应用范围较为广泛,其算法又可以分为两类,一类是把训练数据集分成树生长集和树剪枝集;另一类则在树生长和树剪枝阶段都使用同一训练数据集。

目前国内外的专家学者提出了不少后剪枝策略算法,比如代价-复杂度剪枝算法(CCP算法),悲观错误剪枝算法(PEP算法),最小错误剪枝算法(MEP算法),基于错误剪枝

第1页

热门文档

相关文档

  • 【论文】一种改进的PEP决策树剪枝算法

    剪枝过程是决策树分类学习...●— — 进的 PPE 决策树剪枝算法 A IpoeA9rtmfrDcsnTe rnn nmrv loih o eii...

  • 【论文】一种改进决策树剪枝算法的研究

    一种改进的PEP决策树剪枝算... 4人阅读 3页 2.00元 基于多策略的决策树... 一种改进决策树剪枝算法的研究 决策树归纳方法的剪枝过程是为了消除最终生成的...

  • 决策树后剪枝算法的研究

    决策树后剪枝算法的研究_经济/市场_经管营销_专业资料。决策树分类方法... 一种改进的PEP决策树剪枝... 暂无评价 3页 2.00 基于多策略的决策树...

  • 基于多策略的决策树剪枝算法及其应用

    基于多策略的决策树剪枝算法及其应用_经济学_高等教育_教育专区。决策树分类... 一种改进的PEP决策树剪枝... 3页 1下载券 基于条件误分类的决策树... 3...

  • 决策树剪枝方法的比较

    关键词: 数据挖掘; 决策树; 事后剪枝; PEP; MEP; REP ; CCP 中图分类号:...然而, 由于实际问题中存在许多不确定的因素, 当用决策树构造算法对这类数据 ...

  • 决策树剪枝算法的研究与改进

    (FNP)剪枝算法是在深入分析和研究人工智能机器学习中 ID3 算法的基础上,提出的... 一种改进的PEP决策树剪枝... 暂无评价 3页 2.00 基于决策树的ID3算法...

  • 基于条件误分类的决策树剪枝算法

    改进剪枝 标准的评估方法, 针对决策树的模型进行优化, 提出条件误差剪枝方法, ...( ?( ?( 3. 3 ( 6) ( 7) 3 条件误差剪枝算法 PEP 算法克服了 需要 ...

  • 决策树剪枝算法的研究与改进

    一种改进的PEP决策树剪枝... 3页 1下载券 基于多策略的决策树剪枝... ...(FNP)剪枝算法是在深入分析和研究人工智能机器学习中 ID3 算法的基础上,提出的...

  • 决策树算法及改进

    一种改进的PEP决策树剪枝... 3页 1下载券 ID3决策树算法的改进研究... 2... 本文以决策树分类方法中有...

  • 决策树的剪枝理论

    该算法被认为是当前决策 树后剪枝算法中经度比较高的算法之一,但是饿存在有缺陷。首先,PEP 算法是 唯一使用 Top-Down 剪枝策略,这种策略会导致与先剪枝出现同样的...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email