文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > ETL DataStage实现V0.6
侵权投诉

ETL DataStage实现V0.6

ETL DataStage实现V0.6

第3章 ETL设计

ETL的设计是个庞大的工程,不同的项目设计差别很大。对于特别简单或者特别复杂的项目,在此不做讨论,只讨论一些常见的项目中利用DS实现ETL的设计。

ETL一般需要考虑的问题有:接口数据的获取,频率,数据校验,接口间及后续处理的关联关系,入库方式;优先级,顺序乱序执行,出错处理,重传处理,调度监控等。除了这些问题,可能还会有个别数据不是格式化数据,文件格式DS无法识别,文件标识的时间与实际数据数据时间不一致等问题。

3.1 设计原则

3.1.1 简单

说起来简单,做起来难,呵呵。一直以来都追求简单,无奈做出来的却是越来越复杂,越来越难以让人明白。不过,始终相信简单就是好的,以此做为设计和开发的第一原则。

3.1.2 全面考滤,重点实现

设计之前,需要全面考滤ETL要实现的各种功能。包括源数据都有哪些,如何得到,数据是如何存储的,如何调度,出错如何处理,过了期的数据如何处理,整个ETL过程如何监控等。所有这些项下面都有各种各样的小项,每个小项又是千变万化,不可能每项都能想到,即使能想到,也不可能都能设计时考滤进去。所以设计要把大项尽可能的考滤进去,可以用比较容易扩展的设计,包括小项80%的功能。

3.1.3 充分利用各种资源

ETL中涉及到好多系统,用到很多技术,ETL的设计就是要充分利用已有资源的优势(包括人员,操作系统,DS,数据库等),综合运用,达到ETL和其他系统最好的结合。这个可能要求对各种资源了解的比较清楚。

上一页第8页

你可能喜欢

热门文档

相关文档

  • DataStage(ETL)技术总结

    然后再用 DataStage Manager 导入到另外一个项目中去, 利用这个功能一方面可以实现 ETL Job 的备份,另一方面就是可以在多个项目之间来重复使用开发好的 ETL Job。 ...

  • DataStage(ETL)技术概要

    DataStage(ETL)技术概要 DataStage(ETL)技术概要数据整合的核心内容是从数据源中... ETL DataStage实现V0.6 31页 1下载券 IBM 数据ETL 解决方案-D... 25页 ...

  • DW DataStage ETL 培训_DataStage介绍

    DW DataStage ETL 培训_DataStage介绍_计算机软件及...3. 组件介绍用户通过四个客户端工具实现DataStage的...学习指导_CN.pdf》 《DataStage学习版文档V0_4.pdf...

  • DW DataStage ETL 培训_高级应用

    赛意信息科技有限公司 DW DataStage ETL 案例培训 高级应用 --缓慢变化维的DataStage实现 2008年12月15日赛意科技 http://www.chinasie.com 概述 ? 部门维是DW...

  • ETL开发指南(DataStage EE)V2.0

    ETL开发指南(DataStage EE)V2.0_IT/计算机_专业资料。刚接触的话比较有用... ETL DataStage实现V0.6 31页 1下载券 DataStage EE安装手册V1... 18页 1...

  • [转载]BI_ETL_DataStage学习版文档V0 67

    [转载]BI_ETL_DataStage学习版文档V0 67_IT/计算机_专业资料。DataStage 学习...来实现,复杂转换可以通过编写脚本或结合其他语言的扩展来实 现,并且 DataStage ...

  • ETL开发指南_DataStage+EE_V1.0

    a) DataStage Administrator客户端中打开工程属性; b) 点击Environment按钮,进入... ETL DataStage实现V0.6 31页 1下载券 DataStage EE安装手册V1... 18页 1...

  • datastage+说明

    然后再用 DataStage Manager 导入到另外一个项目中去, 利用这个功能一方面可以实现 ETL Job 的备份,另一方面就是可以在多个项目之间来重复使用开发好的 ETL Job.在...

  • IBM 数据ETL 解决方案-Datastage

    IBM 数据ETL 解决方案-Datastage_IT/计算机_专业资料。IBM 数据ETL 解决方案-...统一的基础产品,能够通过扩展来支持任何数量 的信息,使上述计划能够加速实现更...

  • ETL__指南(DataStage+EE)V2.0

    ETL DataStage实现V0.6 31页 2财富值 DataStage EE开发指南V1.0 54页 2...引言 1.1 编写目的 IBM DataStage作ODS项目所使用的主要开发工具,在项目中得到...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email