一份不错的数据仓库etl方案
要求:
1、需要业务系统生产库的一个用户账号,权限是能够查询业务系统生产库的数据,提供这个用户的连接串,这个需要在方案实施前一天提供。
2、需要在业务系统生产库上新建一个表空间,用户存储物化视图日志表,大小至少是业务系统生产库10天的数据量占用的空间大小
3、数据仓库的服务器应该至少是业务系统生产库大小的6倍,数据库要求oracle10g
说明:
1、本次测试选择10数据块做测试。
2、时间点选择业务系统生产库用户少的时候。
3、试验物化视图日志对业务系统生产库的各种性能压力测试。
4、试验业务系统生产库增量数据抽取对业务系统生产库的压力测试及效率问题。
5、试验业务系统生产库存量数据抽取时对业务系统生产库空间的要求、抽取时间、以及效率计算等。
实施步骤:
1、查看测试库是否正常,是否能符合数据仓库要求
2、在测试库上新建表空间、用户
3、把现在开发库上odm,ods,dw,dm,etl用户下的数据表(系统参数表),存储过程,视图,序列,数据库链等移植到新的测试库上。
4、由业务系统生产库的DBA新建用户,权限是能够查询业务系统生产库的数据,并创建表空间用于存放物化视图日志,然后告知营销分析系统项目组(前一天完成)
5、根据业务系统生产库,营销分析系统项目组生成10块物化试图日志脚本、物化试图,ods脚本,dw脚本(前一天完成)
6、在odm库上创建业务系统生产库的dblink,检测是否能够查询数据(前一天完成)
7、营销分析系统项目组提供创建物化试图日志脚本,由业务系统生产库dba审核并在业务系统生产库上创建
8、营销分析系统项目组在数据仓库测试机上odm库创建物化试图,时间根据业务系统生产库和测试库存储来计算,初步估计在1到2小时
(说明:ODM上创建物化视图的过程既存量数据抽取过程,第七第八步骤需要业务系统生
北京工业大学 硕士学位论文 企业数据仓库建设中ETL方案设计与实现 姓名:李楠 申请学位级别:硕士 专业:计算机应用技术 指导教师:周小兵 20070401 摘要 摘要企业信息...
数据仓库ETL研究及实现_计算机软件及应用_IT/计算机_专业资料。东北大学 硕士...建立 数据仓库的规划和实施方案【l】o而ETL(Extract、Transformation、Loading,...
优化方案:ETL的过程原理和数据仓库建设优化方案:ETL的过程原理和数据仓库建设隐藏>> 优化方案: 优化方案:ETL 的过程原理和数据仓库建设这篇论坛文章根据笔者多年的...
数据仓库技术架构及方案 60页 免费 ETL架构师面试题 13页 免费 数据挖掘(... ETL 构建数据仓库五步法在数据仓库构建中,ETL 贯穿于项目始终,它是整个数据...
教学管理数据仓库中ETL的... 21人阅读 2页 1.00利用DTS组件实现数据仓库中ETL方...
和上载(Extraction Transformation and Loading,ETL)的总体设计出发,分别阐述了EDW-ETL和OLAP-ETL的设计策略及实现方法,给出了实现完整的银行数据仓库系统的ETL方案。...
数据仓库ETL模式详解胡红强神州数码思特奇信息技术股份有限公司 2009年09月01日 www.si-tech.com.cn 内容 1 数据仓库概述 ETL加载模式概述 2 3 ETL加载模式举例 ...
数据仓库技术 数据仓库技术是基于信息系统业务发展的需要, 基于数据库系统技术 ...数据仓库 的方案建设的目的,是为前端查询和分析作为基础,由于有较大的冗 余,...
数据仓库技术架构及方案 60页 1下载券数据仓库ETL...项目组希望我出一个 ETL 的规范, 凭着自己的感觉和经验总结了一些步骤, 我...
第三章 数据仓库中的ETL和元数据_IT/计算机_专业资料。数据仓库与数据挖掘原理...价格昂贵 整体方案提供商和产品提供数据仓库存储、设计、展现工具,同时也提供 ...
热门文档