文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 数据仓库ETL方案
侵权投诉

数据仓库ETL方案

一份不错的数据仓库etl方案

要求:

1、需要业务系统生产库的一个用户账号,权限是能够查询业务系统生产库的数据,提供这个用户的连接串,这个需要在方案实施前一天提供。

2、需要在业务系统生产库上新建一个表空间,用户存储物化视图日志表,大小至少是业务系统生产库10天的数据量占用的空间大小

3、数据仓库的服务器应该至少是业务系统生产库大小的6倍,数据库要求oracle10g

说明:

1、本次测试选择10数据块做测试。

2、时间点选择业务系统生产库用户少的时候。

3、试验物化视图日志对业务系统生产库的各种性能压力测试。

4、试验业务系统生产库增量数据抽取对业务系统生产库的压力测试及效率问题。

5、试验业务系统生产库存量数据抽取时对业务系统生产库空间的要求、抽取时间、以及效率计算等。

实施步骤:

1、查看测试库是否正常,是否能符合数据仓库要求

2、在测试库上新建表空间、用户

3、把现在开发库上odm,ods,dw,dm,etl用户下的数据表(系统参数表),存储过程,视图,序列,数据库链等移植到新的测试库上。

4、由业务系统生产库的DBA新建用户,权限是能够查询业务系统生产库的数据,并创建表空间用于存放物化视图日志,然后告知营销分析系统项目组(前一天完成)

5、根据业务系统生产库,营销分析系统项目组生成10块物化试图日志脚本、物化试图,ods脚本,dw脚本(前一天完成)

6、在odm库上创建业务系统生产库的dblink,检测是否能够查询数据(前一天完成)

7、营销分析系统项目组提供创建物化试图日志脚本,由业务系统生产库dba审核并在业务系统生产库上创建

8、营销分析系统项目组在数据仓库测试机上odm库创建物化试图,时间根据业务系统生产库和测试库存储来计算,初步估计在1到2小时

(说明:ODM上创建物化视图的过程既存量数据抽取过程,第七第八步骤需要业务系统生

第1页

你可能喜欢

  • 数据仓库技术
  • 数据仓库设计
  • 数据抽取
  • 数据仓库实例
  • 数据仓库建模
  • 银行数据仓库
  • 数据挖掘

热门文档

相关文档

  • 企业数据仓库建设中ETL方案设计与实现

    北京工业大学 硕士学位论文 企业数据仓库建设中ETL方案设计与实现 姓名:李楠 申请学位级别:硕士 专业:计算机应用技术 指导教师:周小兵 20070401 摘要 摘要企业信息...

  • 数据仓库ETL研究及实现

    数据仓库ETL研究及实现_计算机软件及应用_IT/计算机_专业资料。东北大学 硕士...建立 数据仓库的规划和实施方案【l】o而ETL(Extract、Transformation、Loading,...

  • 优化方案:ETL的过程原理和数据仓库建设

    优化方案:ETL的过程原理和数据仓库建设优化方案:ETL的过程原理和数据仓库建设隐藏>> 优化方案: 优化方案:ETL 的过程原理和数据仓库建设这篇论坛文章根据笔者多年的...

  • ETL构建数据仓库五步法

    数据仓库技术架构及方案 60页 免费 ETL架构师面试题 13页 免费 数据挖掘(... ETL 构建数据仓库五步法在数据仓库构建中,ETL 贯穿于项目始终,它是整个数据...

  • 【论文】利用DTS组件实现数据仓库中ETL方案设计

    教学管理数据仓库中ETL的... 21人阅读 2页 1.00利用DTS组件实现数据仓库中ETL方...

  • 银行数据仓库系统中ETL的总体设计与实现

    和上载(Extraction Transformation and Loading,ETL)的总体设计出发,分别阐述了EDW-ETL和OLAP-ETL的设计策略及实现方法,给出了实现完整的银行数据仓库系统的ETL方案。...

  • 数据仓库ETL模式详解

    数据仓库ETL模式详解胡红强神州数码思特奇信息技术股份有限公司 2009年09月01日 www.si-tech.com.cn 内容 1 数据仓库概述 ETL加载模式概述 2 3 ETL加载模式举例 ...

  • 数据仓库之--ETL

    数据仓库技术 数据仓库技术是基于信息系统业务发展的需要, 基于数据库系统技术 ...数据仓库 的方案建设的目的,是为前端查询和分析作为基础,由于有较大的冗 余,...

  • 数据仓库ETL流程规范

    数据仓库技术架构及方案 60页 1下载券数据仓库ETL...项目组希望我出一个 ETL 的规范, 凭着自己的感觉和经验总结了一些步骤, 我...

  • 第三章 数据仓库中的ETL和元数据

    第三章 数据仓库中的ETL和元数据_IT/计算机_专业资料。数据仓库与数据挖掘原理...价格昂贵 整体方案提供商和产品提供数据仓库存储、设计、展现工具,同时也提供 ...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email