文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 计算机软件及应用 > 数据清理2
侵权投诉

数据清理2

数据清理

现实世界中的数据源极易受空缺、不一致和噪声数据的侵扰。根据GIGO(garbage in ,garbage out)原理,没有良好的数据质量作后盾,再先进的数据处理技术和分析工具也不能发挥作用,要想数据仓库真正发挥作用,就必须提高业务系统的数据质量。由此看来,数据质量的控制成为数据仓库建设发展过程中越来越引起重视的突出问题,而解决这些问题的过程称为数据清理。数据清理(data cleaning,data cleansing或者data scrubbing)被定义为:发现和清除数据中的错误和不一致来提高数据的质量。在数据仓库环境下,数据清理是ETL 过程的一个重要部分,要考虑数据仓库的集成性与面向主题的需要。

数据清理目的是检测数据中存在的错误和不一致,剔除或者改正它们,这样就提高了数据的质量。业务系统数据清理是提升业务系统数据质量的有效手段,是数据仓库实施过程中数据质量管控的源头,是整个数据仓库项目成功的关键。业务系统数据清理工作一方面能有效提升业务系统的数据质量和系统可用性,另一方面也能有效降低整个数据仓库ETL的复杂度和工作量,保证数据仓库中的数据质量。

数据质量问题

数据清理主要是针对源数据库,对其中出现二义性、重复、不完整、违反业务或逻辑规则等问题的数据进行相应的清洗操作,在清洗之前需要进行数据质量分析,以找出存在问题的数据,否则数据清洗将无从谈起。

第1页

你可能喜欢

热门文档

相关文档

  • 金保工程-单位数据清理2

    六、数据清理 为了搞好我局各系统数据交叉整理工作,现就各系统数据库系统中的单位数据进行清理,并对各机构数据 清提出指导意见,请各经办机构按指导意见进行清理。 ...

  • 数据清理

    2 字符型数据清理 2.1 观察数据集 2.1.1 首先可以观察一下数据集中,所有字符型变量的数据情况: procfreq data=pmlr.Develop(drop=branch); tables _character_...

  • 数据清理

    有效范围数据清理 2.逻辑一致性清理 ? 逻辑一致性清理则是从另一种角度来查找数 据中所存在的问题。其基本思路是依据问卷中的 问题相互之间所存在的某种内在的...

  • 数据清理步骤

    数据清理步骤 1、 数据合并。 参见 E:\jdh2010\营养\数据录入\2009CHNS 数据_20100323\conbined\文件合并 过程 20100324.doc。 2、 数据导出。存文...

  • 浙江电信数据清理案例

    2 人员及处理流程 业务系统数据清理工作既需要在数据仓库项目正式启动之前提前进行, 同时也贯穿于整 个数据仓库系统建设的始终, 数据仓库实施过程通过数据质量检查...

  • 清理数据库日志方法

    backup log ioa with no_log dbcc shrinkdatabase(ioa,1) 注意: 1、执行脚本时要选择需要清理的数据库的名称。 2、如果数据库名不是ioa,需要把以上脚本中的ioa...

  • 数据清理表

    铜仁地区社会保险数据清理个人基本信息统计表填报单位:铜仁市规划勘测设计院 参加...2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 陈勇 张化 瞿颉 ...

  • 数据清理

    数据清理_计算机软件及应用_IT/计算机_专业资料。随着计算机技术的飞速发展和...(2) 可渐增性和可扩充性:系统是基于 Object Pascal语言编写的,通 过面向对象...

  • 数据清理系统

    数据清理系统_信息与通信_工程科技_专业资料。毕设参考论文 编程类...(2) 可渐增性和可扩充性:系统是基于Object Pascal语言编写的,通 过面向对象,...

  • 数据质量和数据清理在电信数据仓库中的应用

    数据清理(data cleaning,data cleansing 或者 data scrubbing)在文献[2]中 被定义为:发现和清除数据中的错误和不一致来提高数据的质量。在数据仓库环境下,数据 ...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email