决策树算法及应用
一 决策树算法简介[1][6][8]
决策树算法是一种归纳分类算法,它通过对训练集的学习,挖掘出有用的规则,用于对新集进行预测。决策树算法可设计成具有良好可伸缩性的算法,能够很好地与超大型数据库结合,处理相关的多种数据类型,并且,其运算结果容易被人理解,其分类模式容易转化成分类规则。因此,在过去的几十年中,决策树算法在机器学习(machine learning)和数据挖掘( data mining) 领域一直受到广泛地重视。
决策树算法以树状结构表示数据分类的结果。树的非叶结点表示对数据属性(at tribute) 的测试。每个分枝代表一个测试输出,而每个叶结点代表一个分类。由根结点到各个叶结点的路径描述可得到各种分类规则。目前有多种形式的决策树算法。其中最值得注意的是CART 和ID3/ C4. 5 。许多其它的算法都是由它们演变而来。下面介绍决策树算法ID3 (Quinlan ,1979) 在实际中的一例应用。 决策树算法ID3 使用信息增益( Information Gain)作为选择属性对节点进行划分的指标。信息增益表示系统由于分类获得的信息量,该量由系统熵的减少值定量描述。熵(Entropy) 是一个反映信息量大小的概念。最终信息增益最高的划分将被作为分裂方案。
决策树和决策规则是实际应用中分类问题的数据挖掘方法。决策树表示法是应用最广泛的逻辑方法,它通过一组输入-输出样本构建决策树的有指导的学习方法。
对于分类决策树来说,需要先对原始资料来进行分类训练,经由不断的属性分类后,得到预期的分类结果。判定树归纳的基本算法是贪心算法,它采用自上而下、分而治之的递归方式来构造一个决策树。ID3 算法是一种著名的判定树归纳算法,伪代码如下:
Function Generate_decision_tree(训练样本samples,候选属性attribute list){
创建节点N:
决策树算法及应用拓展决策树算法及应用拓展隐藏>> 决策树算法及应用拓展 ? 内容简介: ? ? 概述 预备知识决策树生成(Building Decision Tree) ? 决策树剪枝(...
电脑应用技术 二零零八总第七十二期 决策树算法研究及应用? 王桂芹 黄道华东理工大学实验十五楼206室 摘要:信息论是数据挖掘技术的重要指导理论之一,是决策树算法...
决策树算法及应用拓展 ? 内容简介: ? ? 概述 预备知识决策树生成(Building Decision Tree) ? 决策树剪枝(Pruning Decision Tree) ? ? ? 捕捉变化数据的挖掘...
决策树算法及应用拓展决策树算法及应用拓展隐藏>> 决策树算法及应用拓展 ? 内容简介: ? ? 概述 预备知识决策树生成(Building Decision Tree) ? 决策树剪枝(...
决策树算法的计算题示例(蓝色字体部分属于分析过程,在提交时可以不写) : 下列信息表包含 5 个属性: Warm_blooded ,Feathers,Fur,Swims,Lay_eggs,其中类标号 ...
决策树算法的研究与应用 隐藏>> 第2 0卷.第 2期 2100年 2月. 计算机技术与发展 {MPTE COO DDVEOPNT2OURTEHNLGYAN ELME V10o2 . No2. Fb 20e.01 ...
决策树分类算法及其应用_计算机软件及应用_IT/计算机_专业资料。决策树分类算法及其应用维普资讯 http://www.cqvip.com 2005年1 O月 第2 2卷第 5期 枣庄学院...
优化的C4.5决策树算法_计算机软件及应用_IT/计算机_专业资料。软件 2013 年第 3 4卷第2期 SOFTWARE 国际 I T传媒品牌 优化 的(34. 5决策树算法 陈英 ,...
方法 。事后修剪比事前修剪需要更多的计算时间 ,从而可 i =1 ∑ Si Si log2 S S 4 决策树算法的应用 式中 , pj 是 S 中第 j ...
咨询工具:决策树算法及应用拓展咨询工具:决策树算法及应用拓展隐藏>> 决策树算法及应用拓展内容简介:概述 预备知识决策树生成(Building Decision Tree) 决策树剪枝(...
热门文档