C4.5算法生成决策树
1、基础知识
当我们需要对一个随机事件的概率分布进行预测时,我们的预测应当满足全部已知的条件,而对未知的情况不要做任何主观假设。在这种情况下,概率分布最均匀,预测的风险最小。因为这时概率分布的信息熵最大,所以称之为“大熵法”最大熵法在数学形式上很漂亮,但是实现起来比较复杂,但把它运用于金融领域的诱惑也比较大,比如说决定股票涨落的因素可能有几十甚至上百种,而最大熵方法恰恰能找到一个同时满足成千上万种不同条件的模型。
目前,针对分类问题已有了若干不同领域方法的算法,例如统计学、机器学习、神经网络和粗糙集理论等。其中从机器学习中引出的决策树方法是一种较为通用并被深入研究的分类方法,由于决策树分类算法是一种直观快速的分类方法,它的分类过程不需要背景知识、并且清晰、易于理解,因此有很大的实用价值。目前已经形成了多种决策树算法。如CLS、ID3、CHAID、CART、FACT、C4.5、Gini、SEE5、SLIQ、SPRINT等。
在决策树分类算法中,最常用的、最经典的是C4.5算法,它继承了ID3算法的优点并对ID3算法进行了改进和补充。C4.5算法采用信息增益率作为选择分支属性的标准,克服了ID3算法中信息增益选择属性时偏向选择取值多的属性的不足,并能够完成对连续属性离散化的处理,还能够对不完整数据进行处理。根据分割方法的不同,目前决策的算法可以分为两类:基于信息论(Information Theory)的方法和最小GINI指标(Lowest GINI index)方法。对应前者的算法有ID3、C4.5,后者的有CART、SLIQ和SPRINT。
C4.5算法是以信息论为基础,以信息熵和信息增益度为衡量标准,从而实现对数据的归纳分类。
龙源期刊网 http://www.qikan.com.cn 基于 C4.5 的决策树改进算法研究 作者:徐东风 来源:《软件导刊》2013 年第 10 期 摘要摘要:对海量数据的处理能力是...
!" 教育教学研究 !!!" 常用的决策树生成算法分析于 莉天津 天津财贸管理干部...分割方法不同, 常用的决策树算法主要有 ID3、、C4.5CART、SLIQ、SPRINT等。 ...
本报告主要通过分析 C4.5 算法来研究决策树算法。在决策树算法中,最常 用的...决策树算法的优点如下: (1)分类精度高; (2)生成的模式简单; (3)对噪 声...
其中决策树是分类方法中的一个重要研究方向,由于其结 构简单、可以清晰的生成...不同的决策树算法采用的属性 分割方法不同,常用的决策树算法主要有ID3、C4.5...
因而是目前应用最为广泛的归纳推理算法之 一,在数据挖掘中受到研究者的广泛关注... C4.5算法生成决策树的研... 6页 免费 决策树的经典算法:ID3与... 3页...
C4.5的剪枝方法 ? C4.5采用悲观剪枝法,它使用训练集生成 决策树又用它来进行剪枝,不需要独立的 剪枝集。 C4.5的剪枝方法 C4.5的剪枝方法 Weka J48算法...
研究 的一 个重 要 问题 ,是 目前 国 也 内对决 策树算法研究 的热 点 ...生成的决策树 穿划Fg. Deiinte codigt“ne fcohn”i5cso reacrn oidxo ltig C...
基于C4.5的决策树改进算法研究_数学_自然科学_专业资料。基于 C4.5 的决策树改进算法研究 摘要摘要:对海量数据的处理能力是数据挖掘最关注的问题。决策树 作为...
? ? ? 研究的主要内容 数据挖掘及其分类方法概述 C4.5算法 基于规则排序的...从 中提取决策树规则,并通过对决策树规则 进行有效地排序后生成分类器,应用于...
2.2 C4.5算法 在ID3算法的基础上,J.R.Quinlan于1993年在其“Programs for...(3) 计算出各属性的信息增益后,选取信息增益最大的属性作为结点向下生成决策树...
热门文档