ETL DataStage实现V0.6
第3章 ETL设计
ETL的设计是个庞大的工程,不同的项目设计差别很大。对于特别简单或者特别复杂的项目,在此不做讨论,只讨论一些常见的项目中利用DS实现ETL的设计。
ETL一般需要考虑的问题有:接口数据的获取,频率,数据校验,接口间及后续处理的关联关系,入库方式;优先级,顺序乱序执行,出错处理,重传处理,调度监控等。除了这些问题,可能还会有个别数据不是格式化数据,文件格式DS无法识别,文件标识的时间与实际数据数据时间不一致等问题。
3.1 设计原则
3.1.1 简单
说起来简单,做起来难,呵呵。一直以来都追求简单,无奈做出来的却是越来越复杂,越来越难以让人明白。不过,始终相信简单就是好的,以此做为设计和开发的第一原则。
3.1.2 全面考滤,重点实现
设计之前,需要全面考滤ETL要实现的各种功能。包括源数据都有哪些,如何得到,数据是如何存储的,如何调度,出错如何处理,过了期的数据如何处理,整个ETL过程如何监控等。所有这些项下面都有各种各样的小项,每个小项又是千变万化,不可能每项都能想到,即使能想到,也不可能都能设计时考滤进去。所以设计要把大项尽可能的考滤进去,可以用比较容易扩展的设计,包括小项80%的功能。
3.1.3 充分利用各种资源
ETL中涉及到好多系统,用到很多技术,ETL的设计就是要充分利用已有资源的优势(包括人员,操作系统,DS,数据库等),综合运用,达到ETL和其他系统最好的结合。这个可能要求对各种资源了解的比较清楚。
然后再用 DataStage Manager 导入到另外一个项目中去, 利用这个功能一方面可以实现 ETL Job 的备份,另一方面就是可以在多个项目之间来重复使用开发好的 ETL Job。 ...
DataStage(ETL)技术概要 DataStage(ETL)技术概要数据整合的核心内容是从数据源中... ETL DataStage实现V0.6 31页 1下载券 IBM 数据ETL 解决方案-D... 25页 ...
DW DataStage ETL 培训_DataStage介绍_计算机软件及...3. 组件介绍用户通过四个客户端工具实现DataStage的...学习指导_CN.pdf》 《DataStage学习版文档V0_4.pdf...
赛意信息科技有限公司 DW DataStage ETL 案例培训 高级应用 --缓慢变化维的DataStage实现 2008年12月15日赛意科技 http://www.chinasie.com 概述 ? 部门维是DW...
ETL开发指南(DataStage EE)V2.0_IT/计算机_专业资料。刚接触的话比较有用... ETL DataStage实现V0.6 31页 1下载券 DataStage EE安装手册V1... 18页 1...
[转载]BI_ETL_DataStage学习版文档V0 67_IT/计算机_专业资料。DataStage 学习...来实现,复杂转换可以通过编写脚本或结合其他语言的扩展来实 现,并且 DataStage ...
a) DataStage Administrator客户端中打开工程属性; b) 点击Environment按钮,进入... ETL DataStage实现V0.6 31页 1下载券 DataStage EE安装手册V1... 18页 1...
然后再用 DataStage Manager 导入到另外一个项目中去, 利用这个功能一方面可以实现 ETL Job 的备份,另一方面就是可以在多个项目之间来重复使用开发好的 ETL Job.在...
IBM 数据ETL 解决方案-Datastage_IT/计算机_专业资料。IBM 数据ETL 解决方案-...统一的基础产品,能够通过扩展来支持任何数量 的信息,使上述计划能够加速实现更...
ETL DataStage实现V0.6 31页 2财富值 DataStage EE开发指南V1.0 54页 2...引言 1.1 编写目的 IBM DataStage作ODS项目所使用的主要开发工具,在项目中得到...
热门文档