ETL DataStage实现V0.6
调度是ETL的灵魂。ETL调度的设计,决定了ETL所能实现的功能以及灵活性,也决定了其他ETL部分工作量的大小。
调度涉及到的问题主要有优先级,顺序乱序执行,出错处理,重传处理,调度监控。
优先级就是任务之间执行的先后紧急顺序,将DS Job分为几个优先级,同一优先级或者不同优先级的JOB间有依赖、互斥等关系。
顺序乱序执行,顺序就是按照时间的先后顺序加载,而乱序则可以不按照时间顺序执行,主要是一些高频率JOB,异常情况不适合人工处理。
出错处理、重传处理,就是要求整个ETL支持重做。 调度监控,对ETL的处理结果和重要步骤有一个记录,有问题时发邮件或者短信通知相关负责人。
如果这些都不太复杂,可以用sequence Job,在调度的JOB中用Job Control自编程的方式实现部分任务执行日志的记录。对于很复杂的,sequence Job难以实现的,可以自己写调度程序实现(如Shell, Python , Java)。
3.4 E T L
这部分是整个ETL的主要部分,无论是工作量,还是复杂程度,都是最大的。这部分的实现很大部分与源数据,源数据与目标数据数据的对应有很大关系。如果需要做的很简单,完全可以一个JOB搞定,没有必要分的很细。如果比较复杂,可能需要分为E T L三个步骤或者更多,DS的设计也会在项目中经建目录的方式将其分开,各步骤生成的文件也将以不同的命名方式放在ETL服务器不同的目录下。
这部分的处理,尽早将没用的数据过滤,不正确的格式转换等,使得后来的处理尽量少,尽量简单。下面有些具体的处理方式,可以在Extract时做,也可以在Transform中做,load时就尽量少做些与入库不相关的操作了。执行的顺序可以是E T L,也可以是E L T,或者是E T L T等。但是做为一个整体,最好有一致的方式处理,而不是不同的任务处理方式千变万化。
这部分正是DS的强项。
然后再用 DataStage Manager 导入到另外一个项目中去, 利用这个功能一方面可以实现 ETL Job 的备份,另一方面就是可以在多个项目之间来重复使用开发好的 ETL Job。 ...
DataStage(ETL)技术概要 DataStage(ETL)技术概要数据整合的核心内容是从数据源中... ETL DataStage实现V0.6 31页 1下载券 IBM 数据ETL 解决方案-D... 25页 ...
DW DataStage ETL 培训_DataStage介绍_计算机软件及...3. 组件介绍用户通过四个客户端工具实现DataStage的...学习指导_CN.pdf》 《DataStage学习版文档V0_4.pdf...
赛意信息科技有限公司 DW DataStage ETL 案例培训 高级应用 --缓慢变化维的DataStage实现 2008年12月15日赛意科技 http://www.chinasie.com 概述 ? 部门维是DW...
ETL开发指南(DataStage EE)V2.0_IT/计算机_专业资料。刚接触的话比较有用... ETL DataStage实现V0.6 31页 1下载券 DataStage EE安装手册V1... 18页 1...
[转载]BI_ETL_DataStage学习版文档V0 67_IT/计算机_专业资料。DataStage 学习...来实现,复杂转换可以通过编写脚本或结合其他语言的扩展来实 现,并且 DataStage ...
a) DataStage Administrator客户端中打开工程属性; b) 点击Environment按钮,进入... ETL DataStage实现V0.6 31页 1下载券 DataStage EE安装手册V1... 18页 1...
然后再用 DataStage Manager 导入到另外一个项目中去, 利用这个功能一方面可以实现 ETL Job 的备份,另一方面就是可以在多个项目之间来重复使用开发好的 ETL Job.在...
IBM 数据ETL 解决方案-Datastage_IT/计算机_专业资料。IBM 数据ETL 解决方案-...统一的基础产品,能够通过扩展来支持任何数量 的信息,使上述计划能够加速实现更...
ETL DataStage实现V0.6 31页 2财富值 DataStage EE开发指南V1.0 54页 2...引言 1.1 编写目的 IBM DataStage作ODS项目所使用的主要开发工具,在项目中得到...
热门文档