文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 优化方案:ETL的过程原理和数据仓库建设
侵权投诉

优化方案:ETL的过程原理和数据仓库建设

优化方案:ETL的过程原理和数据仓库建设

优化方案:ETL的过程原理和数据仓库建设

这篇论坛文章根据笔者多年的数据仓库实施经验,同时结合ETL的过程原理和数据仓库建设方法归纳总结了以下优化的方案,详细内容请读者参考下文:

1.引言

数据仓库建设中的ETL(Extract, Transform, Load)是数据抽取、转换和装载到模型的过程,整个过程基本是通过控制用SQL语句编写的存储过程和函数的方式来实现对数据的直接操作,SQL语句的效率将直接影响到数据仓库后台的性能。

目前,国内的大中型企业基本都具有四年以上计算机信息系统应用经验,积累了大量可分析的业务数据,这些信息系统中的数据需要通过搭建数据仓库平台才能得到科学的分析,这也是近几年数据仓库系统建设成为IT领域热门话题的原因。

2.优化的思路分析

数据仓库ETL过程的主要特点是:面对海量的数据进行抽取;分时段对大批量数据进行删除、更新和插入操作;面对异常的数据进行规则化的清洗;大量的分析模型重算工作;有特定的过程处理时间规律性,一般整个ETL过程需要在每天的零点开始到6点之前完成。所以,针对ETL过程的优化主要是结合数据仓库自身的特点,抓住需要优化的主要方面,针对不同的情况从如何采用高效的SQL入手来进行。

3.优化的实例分析

目前数据仓库建设中的后台数据库大部分采用Oracle,以下的SQL采用Oracle的语法来说明,所有的测试在Oracle9i环境中通过,但其优化的方法和原理同样适合除Oracle之外的其他数据库。

3.1索引的正确使用

在海量数据表中,基本每个表都有一个或多个的索引来保证高效的查询,在ETL过程中的索引需要遵循以下使用原则:

(1) 当插入的数据为数据表中的记录数量10%以上时, 首先需要删除该表的索引来提高数据的插入效率,当数据全部插入后再建立索引。

(2) 避免在索引列上使用函数或计算,在where子句中,如果索引列是函数的一部分,优化器将不使用索引而使用全表扫描。举例:

低效: select * ROM DEPT where SAL * 12 > 25000;

高效: select * FROM DEPT where SAL > 25000/12;

(3) 避免在索引列上使用NOT和”!=” , 索引只能告诉什么存在于表中,而不能告诉什么不存在于表中,当数据库遇到NOT和”!=”时,就会停止使用索引转而执行全表扫描。

第1页

TOP相关主题

你可能喜欢

  • 仓库建设方案
  • ETL比较
  • 数据仓库建设
  • 数据库设计方案
  • 数据仓库技术
  • 国土资源一张图
  • 数据仓库方案

热门文档

相关文档

  • 优化方案:ETL的过程原理和数据仓库建设

    优化方案:ETL的过程原理和数据仓库建设_计算机软件及应用_IT/计算机_专业资料。优化方案:ETL的过程原理和数据仓库建设 1.引言 数据仓库建设中的ETL(Extract, Transfor...

  • ETL的过程原理以及相关SQL优化

    优化方案:ETL的过程原理... 3页 免费 ETL 过程原理和数据仓库... 4页 1下载...1.引言 数据仓库建设中的 ETL(Extract, Transform, Load)是数据抽取、转换和装...

  • 【论文】基于数据仓库的ETL过程优化

    基于数据仓库的ETL过程优化_专业资料。提出一种优化ETL整体过程的方法,包括:其一,针对现有ETL过程的局限性提出一个优化其整体流程的框架EICLF(Extracting/Integrating/Cl...

  • 如何从优化SQL入手提高数据仓库的ETL效率[以Oracle为例]

    文章中 主要依据本人 4 年多的数据仓库实施经验,同时结合 ETL 的过程原理和数据仓库建设的方 法论,归纳总结了以上优化的方案,愿此文能在同行中起到抛砖引玉的...

  • 企业数据仓库建设中ETL方案设计与实现

    企业数据仓库建设中ETL方案设计与实现_计算机软件及应用...同时在速度优化和查询方 面更加容易实现,较采用关系...第2章数据仓库介绍2.1数据仓库基本概念与原理2.1....

  • 数据仓库增量ETL的设计及优化

    数据仓库增量ETL的设计及优化_IT/计算机_专业资料。数据仓库增量ETL的设计及优化...5页 免费 优化方案:ETL的过程原理... 3页 免费喜欢此文档的还喜欢 ...

  • 基于数据仓库的ETL过程优化

    优化方案:ETL的过程原理和... 4页 5财富值 数据仓库增量ETL的设计及优... ...谈数据仓库建设中的ETL过程... 暂无评价 4页 1财富值喜欢此文档的还喜欢 ...

  • 数据仓库与ETL的实现过程

    导入数据仓库 建设Cubes 建设Cubes 查询数据 数据仓库的星型结构 Employee_Dim ...数据仓库技术架构及方案 60页 1下载券 ETL流程、数据流图及ETL... 43页 免费...

  • 数据仓库系统的ETL过程的设计探究

    由于企业决策支持的需要,数据仓库及其相关的技术如OLAP、数据挖掘已经越来越受到人们的重视。本文讨论了数据仓库建设中ETL的原理和方法,并提出了数据质量问题,以及质量...

  • 数据仓库ETL流程规范

    数据仓库技术架构及方案 60页 1下载券数据仓库ETL...优化涉及到 ETL 过程的各个部分,从数据中转区到目标区,从程序代码的优化到数据...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email