ETL DataStage实现V0.6
数据合并,相当于数据库中的merge
行列转换,需要将某些数据转换成行,或者是将行转换成列
参照完整性检查,对于数据中的参照完整性,入库前需要进行关联等方式检查其参照完整性
唯一性检查,对数据进行去重操作
3.4.3 Load
就是将数据入库,如果前面的处理都做了,就可以直接入库了。入库的时候需要考滤:
更新入库,对数据库中的记录进行更新
插入,就是将数据直接入库
刷新,将表中的数据清空,然后入库
部分刷新,将表中的部分数据清除,然后入库
由于性能等方面的需要,入库前后,可能需要做一些处理,如索引临时失效,主外键约束临时失效等
3.5 过期文件处理
接口文件或者是ETL中间处理生成的文件会越积越多,久而久之,再大的文件系统也会撑爆,所以就得对文件进行处理了。接口文件或者有些中间生成的文件,过期之后,有些需要归档,以供不时之需,有些就可以直接删了(这个我喜欢)。
这部分的处理最好写个统一的程序,对所有过期的文件进行处理,当需要过期的数据时,也方便取回。
3.6 过期数据处理
同理,数据也有一个生命周期,当绝大多数都用不到时,就需要对它进行处理了,否则性能,管理,存储都会是一个大问题。对于数据量很大的表,就是delete掉那些数据耗费的时间也是很惊人的了。还好,各个数据库厂商都提供了分区表
然后再用 DataStage Manager 导入到另外一个项目中去, 利用这个功能一方面可以实现 ETL Job 的备份,另一方面就是可以在多个项目之间来重复使用开发好的 ETL Job。 ...
DataStage(ETL)技术概要 DataStage(ETL)技术概要数据整合的核心内容是从数据源中... ETL DataStage实现V0.6 31页 1下载券 IBM 数据ETL 解决方案-D... 25页 ...
DW DataStage ETL 培训_DataStage介绍_计算机软件及...3. 组件介绍用户通过四个客户端工具实现DataStage的...学习指导_CN.pdf》 《DataStage学习版文档V0_4.pdf...
赛意信息科技有限公司 DW DataStage ETL 案例培训 高级应用 --缓慢变化维的DataStage实现 2008年12月15日赛意科技 http://www.chinasie.com 概述 ? 部门维是DW...
ETL开发指南(DataStage EE)V2.0_IT/计算机_专业资料。刚接触的话比较有用... ETL DataStage实现V0.6 31页 1下载券 DataStage EE安装手册V1... 18页 1...
[转载]BI_ETL_DataStage学习版文档V0 67_IT/计算机_专业资料。DataStage 学习...来实现,复杂转换可以通过编写脚本或结合其他语言的扩展来实 现,并且 DataStage ...
a) DataStage Administrator客户端中打开工程属性; b) 点击Environment按钮,进入... ETL DataStage实现V0.6 31页 1下载券 DataStage EE安装手册V1... 18页 1...
然后再用 DataStage Manager 导入到另外一个项目中去, 利用这个功能一方面可以实现 ETL Job 的备份,另一方面就是可以在多个项目之间来重复使用开发好的 ETL Job.在...
IBM 数据ETL 解决方案-Datastage_IT/计算机_专业资料。IBM 数据ETL 解决方案-...统一的基础产品,能够通过扩展来支持任何数量 的信息,使上述计划能够加速实现更...
ETL DataStage实现V0.6 31页 2财富值 DataStage EE开发指南V1.0 54页 2...引言 1.1 编写目的 IBM DataStage作ODS项目所使用的主要开发工具,在项目中得到...
热门文档