很不错的资料
数据整合的核心内容是从数据源中抽取数据,然后对这些数据进行转化,最终加载的目标数据库或者数据仓库中去,这也就是我们通常所说的 ETL 过程(Extract,Transform, Load)。
IBM WebSphere DataStage(下面简称为DataStage)为整个 ETL 过程提供了一个图形化的开发环境,它是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化,并将其输入数据集或数据仓库的集成工具。 通常数据抽取工作分抽取、清洗、转换、装载几个步骤:
抽取主要是针对各个业务系统及不同网点的分散数据,充分理解数据定义后,规划需要的数据源及数据定义,制定可操作的数据源,制定增量抽取的定义。 清洗主要是针对系统的各个环节可能出现的数据二义性、重复、不完整、违反业务规则等问题,允许通过试抽取,将有问题的纪录先剔除出来,根据实际情况调整相应的清洗操作。
转换主要是针对数据仓库建立的模型,通过一系列的转换来实现将数据从业务模型到分析模型,通过内建的库函数、自定义脚本或其他的扩展方式,实现了各种复杂的转换,并且支持调试环境,清楚的监控数据转换的状态。
装载主要是将经过转换的数据装载到数据仓库里面,可以通过数据文件直接装载或直连数据库的方式来进行数据装载,可以充分体现高效性。在应用的时候可以随时调整数据抽取工作的运行方式,可以灵活的集成到其他管理系统中。
一.数据源连接能力:
数据整合工具的数据源连接能力是非常重要的,这将直接决定它能够应用的范围。DataStage 能够直接连接非常多的数据源,包括:
1、 文本文件
2、 XML 文件
3、 企业应用程序,比如 SAP、PeopleSoft、Siebel、Oracle Application
4、 几乎所有的数据库系统,比如 DB2、Oracle、SQL Server、Sybase ASE/IQ、Teradata、Informix等以及可通过ODBC连接的数据库
5、 Web Services
6、 SAS、WebSphere MQ
二.多国语言支持(NLS):
DataStage能够支持几乎所有编码,以及多种扩展编码(IBM、NEC、富士通、日立等),可以添加编码的支持,DataStage内部为UTF8编码。
三.并行运行能力:
ETL Job的控件大多数都支持并行运行,此外DataStage企业版还可以在多台装有DataStage Server的机器上并行执行,这也是传统的手工编码方式难以做到的。这样,DataStage就可以充分利用硬件资源。而且,当你的硬件资源升级的时候 也不用修改已经开发好的ETL Job,只需要修改一个描述硬件资源的文件即可。并行执行能力是DataStage所能处理数据的速度可以得到趋近于线性的扩展,轻松处理大量数据。
四.便捷的开发环境:
DataStage 的开发环境是基于 C/S 模式的,通过 DataStage Client 连接到DataStage Server 上进行开发。这里有一点需要注意,DataStage Client 只能
ETL 技术总结 2007 年 12 月 04 日 星期二 16:59 数据整合的核心内容是从...IBM WebSphere DataStage(下面简称为 DataStage)为整个 ETL 过程提供了一个图形 ...
ETL开发指南(DataStage ... 63页 免费 [转载]BI_ETL_DataStage... 189页 2下载券 ETL开发指南_DataStage_... 63页 免费 DataStage(ETL)技术总结 5页 2...
DataStage(ETL)技术总结 4页 免费 IBM 数据ETL 解决方案-Dat... 25页 5财富值喜欢此文档的还喜欢 ETL开发指南(DataStage EE... 63页 免费 DataStage V7.5...
DataStage(ETL)技术总结 4页 免费 DataStage(ETL)技术总结 5页 2下载券 ...19 1. 绪论 DataStage 企业版是 Ascential Software 公司所有企业整合系列产品中...
ETL-Talend开发技巧总结 11页 4下载券 DataStage(ETL)技术总结 4页 免费 ...BI 项目中 ETL 设计与思考 ETL 是将业务系统的数据经过抽取、清洗转换之后加载...
ETL DataStage 实现 第 13 页共 31 页 第4章 ETL 实现 章 4.1 总体实现设计完了,那实现就开始了。设计时可以不关心具体用什么产品,什么技术, 实现时就很...
在 UNIX 平台 DataStage 通过调用/usr/lib/sendmail 来发送邮件。 解决方法:需将 SGM 的 SMTP 服务器地址加入 ETL 的服务器的 SMTP 地址列表中 例如,在 AIX ...
DataStage_日语学习_外语学习_教育专区。DataStage(ETL) DataStage(ETL)技术总结 (2009-05-03 21:14:06) 转载标签: 分类: dw it 数据整合的核心内容是从数据...
Datastage的经验总结_IT/计算机_专业资料。DS的经验总结 ? ? ? 开发流程 ... 经验总结_DataStage 12页 免费 ETL开发指南(DataStage ... 63页 免费 ...
Datastage问题总结_工作总结/汇报_总结/汇报_应用文书。编译 c 程序的并行例程... DataStage(ETL)技术总结 4页 免费 经验总结_DataStage 12页 免费 Datastage的...
热门文档