文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 高等教育 > 工学 > 数据挖掘课程内容整理
侵权投诉

数据挖掘课程内容整理

1、数据挖掘:(定义)从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程称为数据挖掘。(功能)概念描述、关联分析、分类与预测、聚类分析、趋势分析、孤立点分析以及偏差分析等。(典型数据挖掘系统组成)数据库,数据仓库或其他信息库;数据库或数据仓库服务器;知识库;数据挖掘引擎;图形用户界面。(步骤)(1)数据清理:消除重复的、不完全的、违反语义约束的数据(2)数据集成:多种数据源可以组合在一起(3)数据选择:从数据库中检索与分析任务相关的数据(4)数据变换:数据变换或统一成适合挖掘的形式,如通过汇总或聚集操作(5)数据挖掘:使用智能方法提取数据模式(6)模式评估:根据某种兴趣度度量,识别表示知识的真正有趣的模式(7)知识表示:使用可视化和知识表示技术,向用户提供挖掘的知识(前4个是数据预处理步骤)

2、据预处理:(原因)原始业务数据来自多个数据库或数据仓库,它们的结构和规则可能是不同的,这将导致原始数据非常的杂乱、不可用,即使在同一个数据库中,也可能存在重复的和不完整的数据信息,为了使这些数据能够符合数据挖掘的要求,提高效率和得到清晰的结果,必须进行数据的预处理。(内容)a数据清洗:包括填充空缺值,识别孤立点,去掉噪声和无关数据。b数据集成:将多个数据源中的数据结合起来存放在一个一致的数据存储中。需要注意不同数据源的数据匹配问题、数值冲突问题和冗余问题等。c数据变换:将原始数据转换成为适合数据挖掘的形式。包括对数据的汇总、聚集、概化、规范化,还可能需要进行属性的重构。d数据归约:缩小数据的取值范围,使其更适合于数据挖掘算法的需要,并且能够得到和原始数据相同的分析结果。(数据清理基本内容)1尽可能赋予属性名和属性值明确的含义;2统一多数据源的属性值编码;3去除无用的惟一属性或键值(如自动增长的id);4去除重复属性(在某些分析中,年龄和出生日期可能就是重复的属性,但在某些时候它们可能又是同时需要的)5去除可忽略字段(大部分为空值的属性一般是没有什么价值的,如果不去除可能造成错误的数据挖掘结果)6合理选择关联字段(对于多个关联性较强的属性,重复无益,只需选择其中的部分用于数据挖掘即可,如价格、数据、金额)7去掉数据中的噪音、填充空值、丢失值和处理不一致数据。(处理空缺值方法)忽略该记录;去掉属性;手工填写空缺值;使用默认值;使用属性平均值;使用同类样本平均值;预测最可能的值。(常见分箱方法)统一权重法(又称等深分箱法) ;统一区间法(又称等宽分箱法) ;最小熵法;自定义区间法。(数据平滑处理方法)平均值法、边界值法和中值法。(数据规约定义)保持原来数据的完整性,将数据集变小,并不影响对结果的分析(规约方法)数据立方体聚集;维归约;数据压缩;数值压缩;离散化和概念分层。(规约原因)维归约可以去掉不重要的属性,减少数据立方体的维数,从而减少数据挖掘处理的数据量,提高挖掘效率(数据规范化定义)将数据按比例缩放(如更换大单位),使之落入一个特定的区域(如0.0~1.0),称为规范化。(常见方法)

(1) 最大-最小规范化: max minx (x0 min0) min (max0 min0)(2) 零-均值规范化:

x0 x Xα(3) 小数定标规范化:x=x0/10

3、数据仓库:(定义)数据仓库是一种新的数据处理体系结构,是面向主题的、集成的、相对稳定的、反映历史变化的数据集合,为企业决策支持系统提供所需的集成信息。(建立目的)一是为了解企业决策分析中的系统响应问题,数据仓库能提供比传统事务数据库更快的大规模决策分析的响应速度。二是解决决策分析对数据的特殊需求问题。决策分析需要全面的、正确的集成数据,这是传统事务数据库不能直接提供的。三是解决决策分析对数据的特殊操作要求。决策分析是面向专业用户而非一般业务员,需要使用专业的分析工具,对分析结果还要以商业智能的方式进行表现,这是事务数据库不能提供的。(方法)自顶向下方法;自底向上方法;二者结合的混合方法(基本步骤)选取待建模的商务处理;选取商务处理的粒变;选取用于每个事实表记录的维;选取事实表中每条记录的变量(特点精)面向主题的,时变的,集成的,非易失的(特点全)(1)面向对象指数据仓库中的数据是按照一定的主体域进行组织的。主题是一个抽象的概念,是指用户使用数据仓库进行决策时所关心的重点方面。(2)集成的指数据仓库中的数据是对原有分散的数据库数据抽取、清理的基础上进行系统加工、汇总和整理得到的,必须消除源数据中的不一致性,以保证数据仓库内的信息是关于整个企业的一致的全局信息。(3)相对稳定的。操作型数据库中的数据通常实时更新,数据根据需要及时发生变化。数据仓库的数据主要供单位决策分析之用,对所涉及的数据操作主要是数据查询和加载,一旦某个数据加载到数据仓库以后,一般情况下将作为数据档案长期保存,几乎不再做修改和删除操作,也就是说针对数据仓库,通常有大量的查询操作及少量定期的加载(或刷新)操作。(4)反映历史变化。操作型数据库(OLTP)主要关心当前某一个时间段内的数据,而数据仓库中的数据通常包含较久远的历史数据,因此总是包括一个时间维,以便可以研究趋势和变化。数据仓库系统通常记录了一个单位从过去某一时点(如开始启用数据仓库系统的时点)到目前的所有时期的信息,通过这些信息,可以对单位的发展历程和未来趋势做出定量分析和预测。(与数据集市的区别)数据仓库收集了关于整个组织的主题信息,因此是企业范围的。对于数据仓库,通常使用星座模式,因为它能对多个相关的主题建模;数据集市是数据仓库的一个部门子集,它针对选定的主题,因此是部门范围的。对于数据集市,流行星型或雪花模式,因为它们都适合对单个主题建模。(数据库不同)数据仓库是面向主题的,集成的,不易更改且随时间变化的数据集合,

第1页

你可能喜欢

  • 信息安全试题
  • 小学数学课程内容
  • 幼儿园课程内容
  • 校本课程内容
  • 课程设计内容
  • ppt模板
  • 高中物理教学
  • 平衡计分卡实例

热门文档

相关文档

  • 数据挖掘知识点整理

    数据挖掘知识点整理_计算机软件及应用_IT/计算机_专业资料。第一章 1、数据...面向市场(分析) 2、数据内容:当前的、详细的数据 (事务)VS. 历史的、汇总的...

  • 大数据与数据挖掘

    文本数据的处理和挖掘技术,及其在生物/医疗等文本数 据分析中的应用 课程内容 ...理解数据 ? 整理数据 ? 面向目标设计挖掘模式 2014-5-25 数据库研究所 17 ...

  • 数据挖掘课件

    数据挖掘课件 教程 93页 免费数据挖掘课件...数据的整理和合并:从分散的业务系统中抽取、转换 、聚集和合并数据,形成适合进行...

  • 数据挖掘整理

    数据挖掘整理_理学_高等教育_教育专区。四、数据对象之间的相异度和相似度 1、简单属性的相似度和相异度 假设数据对象只有一个属性,则通常其相似度 和相异度可...

  • 数据仓库与数据挖掘_课程教学实践与探索

    数据仓库与数据挖掘_课程教学实践与探索_IT/计算机...环节和实验教学环节的各项内容及侧重点, 并 给出具体... 整理进而实施数据挖掘、 分析结果的整个过程 的每...

  • 数据挖掘概念与技术 期末考试名词解释整理

    数据挖掘概念与技术 期末考试名词解释整理_文学_高等教育_教育专区。数据仓库的...元数据是关于数据的数据,是对数据的结构,内容,键码,索引等的一种描述。 是...

  • 数据挖掘要点整理

    数据挖掘要点整理_经管营销_专业资料。金融数据挖掘各章主要知识点 第一第二章: 1.数据挖掘的定义和数据挖掘的基本功能模块;数据挖掘是从大量的、不完全的、有...

  • 数据挖掘(第一部分)SPSS_clementine11培训

    ? 在挖掘数据前,需要做什么样的数据预整理和 数据清洗?将会使用什么样的数据...27 第三章 读取数据文件 课程简介 ? 内容 ? ? ? ? ? ? ? Clementine 中...

  • WEB数据挖掘相关术语整理

    WEB数据挖掘相关术语整理_理学_高等教育_教育专区。WEB 数据挖掘建立在对大量的...1) WEB 数据挖掘分类 Web 数据挖掘可分为四类:Web 内容挖掘、Web 结构挖掘、...

  • 数据挖掘(第一部分)SPSS_clementine11培训1cindy

    在挖掘数据前,需要做什么样的数据预整理和 数据清洗? 将会使用什么样的数据挖掘...27 第三章 读取数据文件 课程简介内容 Clementine 中可以读取的数据格式 读取文本...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email