很不错的资料
5. ETL Job Report的生成
可以为ETL Job生成文档报告,该报告非常详细,只通过该报告,就可以完全了解该Job的结构与处理过程,非常便于分析。
DataStage提供很多实用的控件,常用的控件有:
1. DB操作控件
主要用于各种DB的连接,连接方式有多种,有面向厂家的Native方式,如Sybase的OpenClient方式,也有通用的ODBC等方式,此外也有些比较特别的DB操作控件,如Sybase的IQ Load、BCP控件,主要用于数据的快速导入和导出。
2. 文件操作控件
常用的有Sequential File、Hashed File, Sequential File是可指定编码形式和格式的CSV文件,Hashed File主要是为了加快检索效率,而替代DB控件的一种比较好的选择,这两种控件可用于输入或输出。
3.处理控件
主要的处理空间有Transformer、Aggregator, Transformer是负责数据转换的关键控件,在该控件中可以调用一些自定义函数,Aggregator是用于统计的控件,非常类似于SQL中的 GROUP BY,也提供Count、Max、Min、Sum的统计操作,还支持如First、Last、Average等操作。
DataStage的ETL Job分类:
1. Server Job
最为常用的Job类型,Job可以组合使用,Server Job是Job的最小单位。
2. Job Sequence
Job Sequence主要用于Job间的协作工作控制,如各Job的实行流程,出错处理,文件监控等。
3. Job Control
Job Control是一种特殊的Server Job,这种Server Job不是通过Designer来设计的,而是直接通过DataStage内嵌支持的Basic语言来开发,因此方式更为灵活,完全可以利用Job Control替代Job Sequence,至少在出错处理和Log输出等方面要灵活很多。(我参与开发的一个项目中完全用Job Control替代了Job Sequence,做出了更为详细的Log输出)
(3) DataStage Manager
DataStage Manager主要用来管理项目资源。一个项目可能包含多个ETL Job,可以用DataStage Manager把一个项目里面的ETL Job导出来。然后再用
DataStage Manager导入到另外一个项目中去,利用这个功能一方面可以实现ETL Job的备份,另一方面就是可以在多个项目之间来重复使用开发好的ETL Job。在DataStage Manager里面可以把数据库中的表结构直接导入到项目中来,供这个项目中的所有ETL Job使用。DataStage Designer也提供了从数据库中直接导入表结构的功能。
ETL 技术总结 2007 年 12 月 04 日 星期二 16:59 数据整合的核心内容是从...IBM WebSphere DataStage(下面简称为 DataStage)为整个 ETL 过程提供了一个图形 ...
ETL开发指南(DataStage ... 63页 免费 [转载]BI_ETL_DataStage... 189页 2下载券 ETL开发指南_DataStage_... 63页 免费 DataStage(ETL)技术总结 5页 2...
DataStage(ETL)技术总结 4页 免费 IBM 数据ETL 解决方案-Dat... 25页 5财富值喜欢此文档的还喜欢 ETL开发指南(DataStage EE... 63页 免费 DataStage V7.5...
DataStage(ETL)技术总结 4页 免费 DataStage(ETL)技术总结 5页 2下载券 ...19 1. 绪论 DataStage 企业版是 Ascential Software 公司所有企业整合系列产品中...
ETL-Talend开发技巧总结 11页 4下载券 DataStage(ETL)技术总结 4页 免费 ...BI 项目中 ETL 设计与思考 ETL 是将业务系统的数据经过抽取、清洗转换之后加载...
ETL DataStage 实现 第 13 页共 31 页 第4章 ETL 实现 章 4.1 总体实现设计完了,那实现就开始了。设计时可以不关心具体用什么产品,什么技术, 实现时就很...
在 UNIX 平台 DataStage 通过调用/usr/lib/sendmail 来发送邮件。 解决方法:需将 SGM 的 SMTP 服务器地址加入 ETL 的服务器的 SMTP 地址列表中 例如,在 AIX ...
DataStage_日语学习_外语学习_教育专区。DataStage(ETL) DataStage(ETL)技术总结 (2009-05-03 21:14:06) 转载标签: 分类: dw it 数据整合的核心内容是从数据...
Datastage的经验总结_IT/计算机_专业资料。DS的经验总结 ? ? ? 开发流程 ... 经验总结_DataStage 12页 免费 ETL开发指南(DataStage ... 63页 免费 ...
Datastage问题总结_工作总结/汇报_总结/汇报_应用文书。编译 c 程序的并行例程... DataStage(ETL)技术总结 4页 免费 经验总结_DataStage 12页 免费 Datastage的...
热门文档