1、C4.5
机器学习中,决策树是一个预测模型;他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象,而每个分叉路径则代表的某个可能的属性值,而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出,若欲有复数输出,可以建立独立的决策树以处理不同输出。
从数据产生决策树的机器学习技术叫做决策树学习, 通俗说就是决策树。
决策树学习也是数据挖掘中一个普通的方法。在这里,每个决策树都表述了一种树型结构,他由他的分支来对该类型的对象依靠属性进行分类。每个决策树可以依靠对源数据库的分割进行数据测试。这个过程可以递归式的对树进行修剪。 当不能再进行分割或一个单独的类可以被应用于某一分支时,递归过程就完成了。另外,随机森林分类器将许多决策树结合起来以提升分类的正确率。
决策树同时也可以依靠计算条件概率来构造。决策树如果依靠数学的计算方法可以取得更加理想的效果。
决策树是如何工作的
决策树一般都是自上而下的来生成的。
选择分割的方法有好几种,但是目的都是一致的:对目标类尝试进行最佳的分割。 从根到叶子节点都有一条路径,这条路径就是一条“规则”。
决策树可以是二叉的,也可以是多叉的。
对每个节点的衡量:
1) 通过该节点的记录数
2) 如果是叶子节点的话,分类的路径
3) 对叶子节点正确分类的比例。
有些规则的效果可以比其他的一些规则要好。
由于ID3算法在实际应用中存在一些问题,于是Quilan提出了C4.5算法,严格上说C4.5只能是ID3的一个改进算法。相信大家对ID3算法都很.熟悉了,这里就不做介绍。
C4.5算法继承了ID3算法的优点,并在以下几方面对ID3算法进行了改进:
1) 用信息增益率来选择属性,克服了用信息增益选择属性时偏向选择取值多的属性的不足;
2) 在树构造过程中进行剪枝;
3) 能够完成对连续属性的离散化处理;
4) 能够对不完整数据进行处理。
C4.5算法有如下优点:产生的分类规则易于理解,准确率较高。其缺点是:在构造树的过程中,需要对数据集进行多次的顺序扫描和排序,因而导致算法的低效。此外,C4.5只适合于能够驻留于内存的数据集,当训练集大得无法在内存容纳时程序无法运行。
来自搜索的其他内容:
C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法.
分类决策树算法是从大量事例中进行提取分类规则的自上而下的决策树.
决策树的各部分是:
根: 学习的事例集.
枝: 分类的判定条件.
叶: 分好的各个类.
§4.3.2 ID3算法
1.概念提取算法CLS
1) 初始化参数C={E},E包括所有的例子,为根.
机器学习十大经典算法简介_计算机软件及应用_IT/计算机_专业资料。不仅仅是选中的十大算法,其实参加评选的 18 种算法,实际上随便拿出一种来都 可以称得上是经典...
机器学习10大经典算法_计算机硬件及网络_IT/计算机_专业资料。机器学习算法,比较经典实用1、C4.5 机器学习中,决策树是一个预测模型;他代表的是对象属性与对象值...
机器学习十大算法的每个算法的核心思想、工作原理、适用情况及优缺点_互联网_IT... 2014年12月大学英语四级经典参考范文78份文档 笑翻神图 爆笑图片汇集 搞笑...
机器学习10大经典算法_互联网_IT/计算机_专业资料。机器学习10大经典算法1、C4.5 机器学习中,决策树是一个预测模型;他代表的是对象属性与对象值之间的一种映射...
机器学习十大算法之一_互联网_IT/计算机_专业资料。机器学习机器学习十大算法之一:EM 算法。 一、最大似然 假设我们需要调查我们学校的男生和女生的身高分布。 ...
5-1 简述机器学习十大算法的每个算法的核心思想、工作原理、适用情况及优缺点等。 1)C4.5 算法: ID3 算法是以信息论为基础,以信息熵和信息增益度为衡量标准,...
机器学习经典算法_计算机软件及应用_IT/计算机_专业资料。经典算法 机器学习十大经典算法 1. C4.5 2. 分类与回归树 3. 朴素贝叶斯 4. 支持向量机(SVM) 5....
机器学习10大经典算法 16页 免费 机器学习十大算法:kNN 11页 免费...独立于算法的机器学习”的含义: “独立于算法的机器学习”的含义:不依赖于所...
机器学习算法分类_计算机软件及应用_IT/计算机_专业资料。分类一 监督学习:在监督式学习下,输入数据被称为训练数据,每组训练数据都有一个明确的标志或结果 在建立...
机器学习之EM算法_管理学_高等教育_教育专区。基于机器学习的经典数据挖掘算法... 机器学习十大算法:K-me... 15页 免费 机器学习中若干特征选择... 70页 ...
热门文档