文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 计算机软件及应用 > DataStage(ETL)技术总结
侵权投诉

DataStage(ETL)技术总结

很不错的资料

5. ETL Job Report的生成

可以为ETL Job生成文档报告,该报告非常详细,只通过该报告,就可以完全了解该Job的结构与处理过程,非常便于分析。

DataStage提供很多实用的控件,常用的控件有:

1. DB操作控件

主要用于各种DB的连接,连接方式有多种,有面向厂家的Native方式,如Sybase的OpenClient方式,也有通用的ODBC等方式,此外也有些比较特别的DB操作控件,如Sybase的IQ Load、BCP控件,主要用于数据的快速导入和导出。

2. 文件操作控件

常用的有Sequential File、Hashed File, Sequential File是可指定编码形式和格式的CSV文件,Hashed File主要是为了加快检索效率,而替代DB控件的一种比较好的选择,这两种控件可用于输入或输出。

3.处理控件

主要的处理空间有Transformer、Aggregator, Transformer是负责数据转换的关键控件,在该控件中可以调用一些自定义函数,Aggregator是用于统计的控件,非常类似于SQL中的 GROUP BY,也提供Count、Max、Min、Sum的统计操作,还支持如First、Last、Average等操作。

DataStage的ETL Job分类:

1. Server Job

最为常用的Job类型,Job可以组合使用,Server Job是Job的最小单位。

2. Job Sequence

Job Sequence主要用于Job间的协作工作控制,如各Job的实行流程,出错处理,文件监控等。

3. Job Control

Job Control是一种特殊的Server Job,这种Server Job不是通过Designer来设计的,而是直接通过DataStage内嵌支持的Basic语言来开发,因此方式更为灵活,完全可以利用Job Control替代Job Sequence,至少在出错处理和Log输出等方面要灵活很多。(我参与开发的一个项目中完全用Job Control替代了Job Sequence,做出了更为详细的Log输出)

(3) DataStage Manager

DataStage Manager主要用来管理项目资源。一个项目可能包含多个ETL Job,可以用DataStage Manager把一个项目里面的ETL Job导出来。然后再用

DataStage Manager导入到另外一个项目中去,利用这个功能一方面可以实现ETL Job的备份,另一方面就是可以在多个项目之间来重复使用开发好的ETL Job。在DataStage Manager里面可以把数据库中的表结构直接导入到项目中来,供这个项目中的所有ETL Job使用。DataStage Designer也提供了从数据库中直接导入表结构的功能。

上一页第3页

你可能喜欢

热门文档

相关文档

  • ETL技术总结

    ETL 技术总结 2007 年 12 月 04 日 星期二 16:59 数据整合的核心内容是从...IBM WebSphere DataStage(下面简称为 DataStage)为整个 ETL 过程提供了一个图形 ...

  • ETL编程规范_Datastage分册@CPIC_EDW

    ETL开发指南(DataStage ... 63页 免费 [转载]BI_ETL_DataStage... 189页 2下载券 ETL开发指南_DataStage_... 63页 免费 DataStage(ETL)技术总结 5页 2...

  • ETL__指南(DataStage+EE)V2.0

    DataStage(ETL)技术总结 4页 免费 IBM 数据ETL 解决方案-Dat... 25页 5财富值喜欢此文档的还喜欢 ETL开发指南(DataStage EE... 63页 免费 DataStage V7.5...

  • DataStage技术方案

    DataStage(ETL)技术总结 4页 免费 DataStage(ETL)技术总结 5页 2下载券 ...19 1. 绪论 DataStage 企业版是 Ascential Software 公司所有企业整合系列产品中...

  • 写了一篇ETL总结

    ETL-Talend开发技巧总结 11页 4下载券 DataStage(ETL)技术总结 4页 免费 ...BI 项目中 ETL 设计与思考 ETL 是将业务系统的数据经过抽取、清洗转换之后加载...

  • ETL DataStage实现V0.6

    ETL DataStage 实现 第 13 页共 31 页 第4章 ETL 实现 章 4.1 总体实现设计完了,那实现就开始了。设计时可以不关心具体用什么产品,什么技术, 实现时就很...

  • datastage经验总结

    在 UNIX 平台 DataStage 通过调用/usr/lib/sendmail 来发送邮件。 解决方法:需将 SGM 的 SMTP 服务器地址加入 ETL 的服务器的 SMTP 地址列表中 例如,在 AIX ...

  • DataStage

    DataStage_日语学习_外语学习_教育专区。DataStage(ETL) DataStage(ETL)技术总结 (2009-05-03 21:14:06) 转载标签: 分类: dw it 数据整合的核心内容是从数据...

  • Datastage的经验总结

    Datastage的经验总结_IT/计算机_专业资料。DS的经验总结 ? ? ? 开发流程 ... 经验总结_DataStage 12页 免费 ETL开发指南(DataStage ... 63页 免费 ...

  • Datastage问题总结

    Datastage问题总结_工作总结/汇报_总结/汇报_应用文书。编译 c 程序的并行例程... DataStage(ETL)技术总结 4页 免费 经验总结_DataStage 12页 免费 Datastage的...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email