文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 基于数据仓库的ETL过程优化
侵权投诉

基于数据仓库的ETL过程优化

基于数据仓库的ETL过程优化

总第247期2010年第5期

计算机与数字工程

Computer&DigitalEngineeringVol.38No.5

166

基于数据仓库的ETL过程优化

彭 璐

(武汉科技大学城市学院信息工程学部 武汉 430083)

*

摘 要 提出一种优化ETL整体过程的方法,包括:其一,针对现有ETL过程的局限性提出一个优化其整体流程的框架EICLF(Extracting/Integrating/Cleaning/Loading/Feedback)流程;其二,对现有相似重复记录的识别算法进行改进;其三,根据清理后得到的干净数据对源数据进行反馈处理。

关键词 数据仓库;ETL;数据清理;数据集成;EICLF中图分类号 TP311.132

OptimizingETLProcessesBasedontheDataWarehouse

PengLu

(DepartmentofInformationEngineering,WuhanUniversityofScienceandTechnologyCityCollege,Wuhan 430083)Abstract AmethodofoptimizingtheoverallETLprocesshasbeenproposed,including:Firstly,astothelimitationoftheexistingETLprocess,ithasproposedaframeworkforoptimizingtheoverallprocess EICLF(Extracting/Integra ting/Cleaning/Loading/Feedback)processes;secondly,improvedtherecognitionalgorithmoftheexistingapproximatelydu plicaterecords;thirdly,feedbackonthesourcedataaccordingtocleaned updata.

KeyWords datawarehouse,ETL,datacleaning,dataintegrating,EICLFClassNumber TP311.132

1 引言

数据和信息是两个不同的概念,数据是在日常操作中得到的一种行为记录,而信息则是根据这些大量的数据从某个角度出发,经过汇总分析得到的一种有用的某类行为特性的描述,数据是得到信息的原料,而信息才是人们最终所关心的,能够指导人们进行某种活动,从而做出相应的决策。海量的数据如不经整合分析就得不到有价值的信息,数据仓库的出现解决了 数据爆炸而信息贫乏!的矛盾。

数据具有高质量时,会得到正确的信息,成为一种资产,错误的数据会导致错误的信息以至最终作出错误的决策[3]。在构建数据仓库过程中,ETL过程处于极其重要的地位,直接决定了数据仓库中的数据质量,而数据质量对于决策人员是至关重要的,它又直接决定了信息的价值,高质量的信息会得到正确的决策,而低质量的信息则将导致决策的失败。

2 数据质量

2.1 数据质量衡量标准

数据质量制约着决策用户能否制定正确的决策[3~4],考查数据质量有如下几个标准[6]:

1)数据的准确性;2)数据符合类型要求和取值要求;3)数据具有完整性和不冗余;4)数据是集成的和一致的;5)数据是及时的,遵循业务规则,满足业务要求。2.2 数据质量分类

数据质量问题可归纳为两大类

[2,4]

(如图1),

即单源问题和多源问题,同时每类又细分为结构级问题和实例级问题两类,其中结构级问题一般通过数据集成就可以解决,而实例级问题则需要进一步的数据清理。因此数据清理也相应地包括两类:单源数据清理和多源数据清理。

1)单源数据清理:单源数据清理问题主要处

*

收稿日期:2009年12月17日,修回日期:2010年1月10日:,

第1页

你可能喜欢

  • 数据仓库技术
  • ETL比较
  • 数据仓库实例
  • BI解决方案
  • 十大数据挖掘算法
  • 银行数据仓库

热门文档

相关文档

  • 优化方案:ETL的过程原理和数据仓库建设

    优化方案:ETL的过程原理和数据仓库建设优化方案:ETL的过程原理和数据仓库建设隐藏>> 优化方案: 优化方案:ETL 的过程原理和数据仓库建设这篇论坛文章根据笔者多年的数...

  • 数据仓库增量ETL的设计及优化

    数据仓库增量ETL的设计及优化_IT/计算机_专业资料。数据仓库增量ETL的设计及优化...基于数据仓库的ETL过程优... 暂无评价 4页 2.00 基于固井数据仓库ETL系统...

  • 优化方案:ETL的过程原理和数据仓库建设

    优化方案:ETL的过程原理和数据仓库建设_计算机软件及应用_IT/计算机_专业资料。优化方案:ETL的过程原理和数据仓库建设 1.引言 数据仓库建设中的ETL(Extract, Transfor...

  • 【论文】基于MGO的数据仓库ETL过程构建方法

    基于MGO的数据仓库ETL过程构建方法_计算机软件及应用_IT/计算机_专业资料 暂无评价

  • 数据仓库ETL流程规范

    测试和优化两个阶段实际上是相辅相成的,测试阶段除了要测试 ETL 逻辑的准确性, 测试过程就可以得出 ETL 过程的性能结果。产出物为《ETL 数据抽取测试报告》 。 ...

  • 如何从优化SQL入手提高数据仓库的ETL效率[以Oracle为例]

    所以,针对 ETL 过程的优化主要是结合数据仓库自身的特点,抓住需要优化的主要方面, 针对不同的情况从如何采用高效的 SQL 入手来进行。 3 优化的实例分析 目前数据...

  • 数据仓库ETL模式详解

    数据仓库ETL模式详解胡红强神州数码思特奇信息技术股份有限公司 2009年09月01日 www.si-tech.com.cn 内容 1 数据仓库概述 ETL加载模式概述 2 3 ETL加载模式举例 ...

  • 数据仓库与ETL的实现过程

    . . 维度与事实一个数据仓库包括了– 多个中央事实表 Fact Table 多个维度外键和多个可以分析的指标 – 多个维度表 Dimension Tables 可以分析的角度 ETL过程...

  • 数据仓库中ETL过程及技巧浅析

    基于数据仓库的ETL过程优... 4页 免费 03 数据仓库与ETL的实现... 14页 1...交互 式型专 门编码型 代码生成器型 数据集线 器型 , 、、 、 。 & ? ...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email