ETL DataStage实现V0.6
4.2 调度
调度的复杂程度,决定了调度的方式。
对于调度比较简单的,可以用Sequence Job将相关JOB串联起来,不同Sequence Job间的依赖,可以用消息文件或者数据库记录的方式,最后直接在Director中配置调度时间。而对于需要记录执行情况日志的,则可以再做一层通用的Job,在此Job的Job Control中,用basic写通用的方式调度其下的E T L Job,并将其记录日志,参数就是Job的名称和时间等。其实就是此类Job调用E T L Job,然后再用Sequence Job调用他们。
而对于比较复杂的,就得单独开发独立的程序了。可以在配置表中将不同JOB的执行时间,依赖条件,优先级,顺序乱序执行等信息配置进去,写程序(Shell, Python, Java等)根据不同的情况,按照不同的方式执行,调用DS提供的接口dsJob对JOB进行控制,并将重要的步骤记录到日志表中。而对于重传等操作,可以通过更改日志表中的状态来执行。配置的JOB可以是E T L Job,也可以是Sequence Job。
4.3 Parallel Job VS Server Job
E T L用到的Job有Server Job, Parallel Job, Mainframe Job(专供大型机上用的),一般情况下就是Server Job, Parallel Job了。从一类Job转到另一类Job,跟从一个开发工具转到另一个开发工具一样,让人感到很陌生。项目中是用Server Job合适,还是Parallel Job合适?以下是他们之间的一个比较(直接从网上copy

然后再用 DataStage Manager 导入到另外一个项目中去, 利用这个功能一方面可以实现 ETL Job 的备份,另一方面就是可以在多个项目之间来重复使用开发好的 ETL Job。 ...
DataStage(ETL)技术概要 DataStage(ETL)技术概要数据整合的核心内容是从数据源中... ETL DataStage实现V0.6 31页 1下载券 IBM 数据ETL 解决方案-D... 25页 ...
DW DataStage ETL 培训_DataStage介绍_计算机软件及...3. 组件介绍用户通过四个客户端工具实现DataStage的...学习指导_CN.pdf》 《DataStage学习版文档V0_4.pdf...
赛意信息科技有限公司 DW DataStage ETL 案例培训 高级应用 --缓慢变化维的DataStage实现 2008年12月15日赛意科技 http://www.chinasie.com 概述 ? 部门维是DW...
ETL开发指南(DataStage EE)V2.0_IT/计算机_专业资料。刚接触的话比较有用... ETL DataStage实现V0.6 31页 1下载券 DataStage EE安装手册V1... 18页 1...
[转载]BI_ETL_DataStage学习版文档V0 67_IT/计算机_专业资料。DataStage 学习...来实现,复杂转换可以通过编写脚本或结合其他语言的扩展来实 现,并且 DataStage ...
a) DataStage Administrator客户端中打开工程属性; b) 点击Environment按钮,进入... ETL DataStage实现V0.6 31页 1下载券 DataStage EE安装手册V1... 18页 1...
然后再用 DataStage Manager 导入到另外一个项目中去, 利用这个功能一方面可以实现 ETL Job 的备份,另一方面就是可以在多个项目之间来重复使用开发好的 ETL Job.在...
IBM 数据ETL 解决方案-Datastage_IT/计算机_专业资料。IBM 数据ETL 解决方案-...统一的基础产品,能够通过扩展来支持任何数量 的信息,使上述计划能够加速实现更...
ETL DataStage实现V0.6 31页 2财富值 DataStage EE开发指南V1.0 54页 2...引言 1.1 编写目的 IBM DataStage作ODS项目所使用的主要开发工具,在项目中得到...
热门文档