实验三 分类挖掘算法(C4.5)
一、实验目的
1、理解分类
2、掌握分类挖掘算法C4.5
3、为改进C4.5打下基础
二、实验内容
1、选定一个数据集(可以参考教学中使用的数据集)
2、选择合适的实现环境和工具实现算法C4.5
3、给出分类规则
三、实验原理
C4.5是机器学习算法中的另一个分类决策树算法,它是基于ID3算法进行改进后的一种重要算法,相比于ID3算法,改进有如下几个要点:
1)用信息增益率来选择属性。ID3选择属性用的是子树的信息增益,这里可以用很多方法来定义信息,ID3使用的是熵(entropy,熵是一种不纯度度量准则),也就是熵的变化值,而C4.5用的是信息增益率。
2)在决策树构造过程中进行剪枝,因为某些具有很少元素的结点可能会使构造的决策树过适应(Overfitting),如果不考虑这些结点可能会更好。
3)对非离散数据也能处理。
4)能够对不完整数据进行处理。

信息增益计算公式:
信息熵计算公式:

信息增益率公式:

其中,IG就是前面的信息增益,IV

计算公式如下:
简化公式如下:

其中,V表示属性集合A中的一个属性的全部取值。
关键字:数据挖掘;决策树算法;C4.5 算法 一、具体应用场景和意义 决策树(Decision Tree)是用于分类和预测的主要技术,它着眼于从一组 无规则的事例推理出决策树...
? ? ? ? 数据挖掘 分类和聚类 决策树 ID3算法 C4.5算法 ? ? 数据挖掘 Data mining is the computational process of discovering patterns in large data ...
数据挖掘中分类算法综述_IT/计算机_专业资料。分类算法第31卷 第 1期 Vol.31...(3) SLIQ 算法 SLIQ算法对 C4.5决策树分类算法的实现方法进行了改 进,在...
C4.5算法、Bayesian置信网络方法和SMD算法3种分类方法的准确性下面采用交叉验证法(Cross 图1中的Margin曲线(横坐标表示样本分类, 纵坐标表示训练样本数)表明:C4....
C4.5算法详解(至今见过写的最好的算法详解)分类: 数据挖掘 data mining C4.5算法 数据挖掘 决策树 2014-01-09 17:33 368人阅读 评论(0) 收藏 举报 C4....
基于距离的分类方法的直观解释 (a)类定义 (b)待分类样例 (c)分类结果 K最近邻居算法(KNN) ? Nearest neighbor(KNN) ? 通过计算每个训练数据到待分类元组的...
数据仓库与数据挖掘 《数据仓库与数据挖掘》 数据仓库与数据挖掘》决策树算法 C...3. 算法的 C4.5 算法的优缺点优点:产生的分类规则易于理解,准确率较高。 ...
实际上随便拿出一种来都可以称得 上是经典算法,它们在数据挖掘领域都产生了极...1. C4.5 C4.5 算法是机器学习算法中的一种分类决策树算法,其核心算法是 ...
数据挖掘十大算法之C4.5_理学_高等教育_教育专区。决策树 数据挖掘十大算法今日...C4.5数据挖掘算法的改进 暂无评价 6页 3.00 数据挖掘技术C4.5算法在.....
热门文档