文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 信息与通信 > 用优化SQL语句提高数据库ETL效率
侵权投诉

用优化SQL语句提高数据库ETL效率

实务 软件服务 栏目编辑:梁丽雯 E - ma i l: l i v e n一 0 1@1 6 3 c o n r

用优化S Q L语句提高数据库E T L效率 ■中国人民银行张家界市中心支行谭正云

数据仓库中的E T L( E x t r a c t T r a n s f o r m L o a d )是数据抽取、转换、装载到模型的过程,整个过程基本是通 过控制用S Q L语句编写的存储过程和通过函数来实现

的测试在O r a c l e 9 i环境下通过,但其优化的方法和原理同样适合除O r a c l e之外的其他数据库。

对数据的直接操作, S Q L语句的效率直接影响数据仓 库后台性能。

一

.

正确使用索引 在海量数据表中,基本每个表都有一个或多个索

目前,各金融机构都积累了大量业务数据,这些信 息系统中的数据需要通过搭建数据仓库平台才能得到科学的分析。近年来,数据仓库系统建设已成为金融I T 领域的热门话题。 数据仓库 E T L过程的特点是:对海量的数据进行

引来保证查询的高效性。在E T L过程中,为提高效率, 索引使用应注意以下5个原则。 一

是当插入的数据超过数据表中记录数的1 0%时,

应首先删除该表的索引来提高插入效率,当数据全部 插入后再重建索弓 I o 二是避免在索引列上使用函数或计算,在WH E R E 子句中,如果索引列是函数的一部分,优化器将不使用索引而使用全表扫描,举例: 低效: S E L E C T F R O M C O MP O N Y WH E R E S A L 1 2>7 5 0 0 0;

抽取;分时段对大批量数据进行删除、更新和插入操作;面对异常的数据进行规则化清洗;大量的分析模型重算工作等。 目前数据仓库建设中的后台数据库大部分采用 O r a c l e,本文论述的S Q L采用O r a c l e的语法来说明,所有

高效: S E L E C T: l: F R O M C O MP O N Y WH E R E S A L >7 5 0 0 0/ 1 2;

三是避免在索引列上使用N O T和“ f _”,索引只能告诉什么存在表中,而不能告诉什么不存在表中,所以 当数据库遇 ̄] I N O T和“ !=”时,就会停止使用索引,转而执行全表扫描。 四是索引列上用“>=”替代“>”。举例: 低效: S E L E C T F R O

M E M P WH E R E G R O U P N O > 5

高效: S E L E C T F R O M E M P WH E R E G R O U P N O >= 6

两者的区别在于,后者DB Ms将直接跳到第一个 GR OUP NO等于6的记录,而前者将首先定位到 G R OUP NO等于5的记录,并且向前扫描到第一个 G R O U P N O大于5的记录。

五是函数的列启用索引方法,如果一定要对使用 函数的列启用索引, O r a c l e 9 i以上版本新的功能——基

6 6 I 2 0 1 3年 第7期投稿邮箱 h n f c@2 l c n . n e t

用优化SQL语句提高数据库ETL效率

第1页

你可能喜欢

热门文档

相关文档

  • 如何从优化SQL入手提高数据仓库的ETL效率[以Oracle为例]

    如何从优化SQL入手提高数据仓库的ETL效率[以Oracle为例]_IT/计算机_专业资料。...3 优化的实例分析 目前数据仓库建设中的后台数据库大部分采用 Oracle, 以下的 ...

  • 如何优化SQL语句提高数据库效率

    如何优化 SQL 语句提高数据库效率 摘要:随着经济的发展与计算机技术的不断进步,很多的企业或部门开始通过 对大量的数据进行处理和分析来开展工作,数据库系统的设计...

  • 浅谈如何优化SQL语句提高数据库系统效率

    浅谈如何优化 SQL 语句提高数据库系统效率陈庆 1 (1.扬州市中医院,江苏省扬州市,225009) 摘要:对于大型的企业或部门来说,每天都需要处理大量的数据业务,数据库...

  • ETL的过程原理以及相关SQL优化

    SQL 语句编写的存储过程和函数的 方式来实现对数据的直接操作,SQL 语句的效率将...优化的思路分析 数据仓库 ETL 过程的主要特点是:面对海量的数据进行抽取;分时段...

  • 优化sql语句提高oracle执行效率(34种方法)

    优化sql语句提高oracle执行效率(34种方法)_IT/计算机_专业资料。优化sql语句...如果你没有 COMMIT 事务,ORACLE 会 将数据恢复到删除之前的状态(准确地说是...

  • 基于Informix数据库典型低效率SQL语句的分析及优化方法_专业资料

    基于Informix数据库典型低效率SQL语句的分析及优化方法_专业资料。本文从跟踪SQL性能的方法和Informix应用调优的原则,对Informix典型低效率SQL语句进行分析,在Informix...

  • 如何提高sql语句的执行效率

    如何提高sql语句的执行效率_IT/计算机_专业资料。介绍了如何提高sql语句的执行...SQL子查询是否可以用简单连接的方式进行重新书写 检查优化索引的使用 考虑数据库...

  • sql数据库语句优化

    sql数据库语句优化_计算机软件及应用_IT/计算机_专业资料。性能不理想的系统中除了一部分是因为应用程序的负载确实超过了服务器的实际处理能力外,更 多的是因为...

  • 对SQL Server数据库查询语句优化的研究

    为提高数据库的运行效率,本文分 析了影响结构化查询语句(SQL)查询语句执行效率的因素,并在此基础上研究了对 SQL 查询语句进 行优化的基本方法,包括数据类型、数学...

  • SQL语句查询性能优化

    SQl 语句查询性能优化 【摘要】本文从 DBMS 的查询优化器对 SQL 查询语句进行...中, 为了满足一个条件往往需要对另一个表进行联接, 例如在 ETL 过程写数据到...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email