ETL工具
三大主流ETL工具选型
ETL(extract, transform and load)产品乍看起来似乎并不起眼,单就此项技术本身而言,几乎也没什么特别深奥之处,但是在实际项目中,却常常在这个环节耗费太多的人力,而在后续的维护工作中,更是往往让人伤透脑筋。之所以出现这种状况,恰恰与项目初期没有正确估计ETL工作、没有认真考虑其工具支撑有很大关系。
做ETL产品的选型,仍然需要从以前说的四点(即成本、人员经验、案例和技术支持)来考量。在此,主要列举三种主流ETL产品:Ascential公司的Datastage、Informatica公司的Powercenter、 NCR Teradata公司的ETL Automation。其中,ETL Automation相对其他两种有些特别之处,放在后面评述。
旗鼓相当:Datastage与Powercenter
就Datastage和Powercenter而言,这两者目前占据了国内市场绝大部分的份额,在成本上看水平相当,虽然市面上还有诸如Business Objects公司的Data Integrator、Cognos公司的DecisionStream,但尚属星星之火,未成燎原之势。 谈Datastage和Powercenter,如果有人说这个就是比那个好,那听者就要小心一点了。在这种情况下有两种可能:他或者是其中一个厂商的员工,或者就是在某个产品上有很多经验而在另一产品上经验缺乏的开发者。为什么得出这一结论?一个很简单的事实是,从网络上大家对它们的讨论和争执来看,基本上是各有千秋,都有着相当数量的成功案例和实施高手。确实,工具是死的,人才是活的。在两大ETL工具技术的比对上,可以从对ETL流程的支持、对元数据的支持、对数据质量的支持、维护的方便性、定制开发功能的支持等方面考虑。
一个项目中,从数据源到最终目标表,多则上百个ETL过程,少则也有十几个。这些过程之间的依赖关系、出错控制以及恢复的流程处理,都是工具需要重点考虑。在这一方面,Datastage的早期版本对流程就缺乏考虑,而在6版本则加入Job Sequence的特性,可以将Job、shell脚本用流程图的方式表示出来,依赖关系、串行或是并行都可以一目了然,就直观多了。Powercenter有Workflow的概念,也同样可以将Session串联起来,这和Datastage Sequence大同小异。 ETL的元数据包括数据源、目标数据的结构、转换规则以及过程的依赖关系等。在这方面,Datastage和Powercenter从功能上看可谓不分伯仲,只是后者的元数据更加开放,存放在关系数据库中,可以很容易被访问。此外,这两个厂家又同时提供专门的元数据管理工具,Ascential有Metastage,而Informatica拥有Superglue。你看,就不给你全部功能,变着法子从你口袋里面多掏点钱。 数据质量方面,两种产品都采用同样的策略——独立出ETL产品之外,另外有专门的数据质量管理产品。例如和Datastage配套用的有ProfileStage和
QualityStage,而Informatica最近也索性收购了原先OEM的数据质量管理产品FirstLogic。而在它们的ETL产品中,只是在Job或是Session前后留下接口,
主流ETL 工具选型 ETL(extract, transform and load)产品乍看起来似乎并不起眼,单就此项技术本 身而言,几乎也没什么特别深奥之处,但是在实际项目中,却常常在这个...
主流ETL 工具选型 ETL(extract, transform and load)产品乍看起来似乎并不起眼,单就此项技术本 身而言,几乎也没什么特别深奥之处,但是在实际项目中,却常常在这个...
如何选择 ETL 工具 吴悦 2003 年 4 月 数据仓库之路原创资料 http://www.dwway.com 一、 前言随着数据仓库技术和应用在国内发展的方兴未艾, 越来越多的人开始...
ETL工具选型_计算机软件及应用_IT/计算机_专业资料。ETL工具选型... 主流ETL工具选型 4页 免费 ETL工具比较 4页 免费 三大主流ETL工具选型 3页 ...
主流ETL 工具对比目前市场上主流的 ETL 工具有, 公司的 DataStage、 IBM ... 主流ETL工具选型 4页 免费 115-ETL工具设计系列 28页 免费 ETL工具比较 4页...
主流ETL工具 VS ETLPlus V5_计算机软件及应用_IT/计算机_专业资料。主流 ETL...比较: ETLPlus5 可根据代理资源情况 (CPU 和内存占用) 自动选择资源最优代理,...
4,选择安装目标路径,可以点击"Browse"更改安装路径.点击"Next" 进入下一步. ... ETL工具比较 4页 免费 主流ETL工具选型 4页 免费 开源ETL工具介绍 31页 7...
ETL工具以及BI产品选择分析报告_IT/计算机_专业资料。ETL工具以及BI产品选择分析...以下是当前主流的 ETL 厂商在 2002 年由 Gartner 进行分析图: 从图上可以看到...
主流ETL工具选型 4页 免费 数据挖掘中十大经典算法 33页 免费 数据仓库技术... 这也是构建数据仓库最重要的 意义所在 整个 BI/DW 系统由三大部分组成:数据...
做 ETL 产品的选型, 仍然需要从以前说的四点(即成本、 成本、 人员经验、 ...主流的 ETL 工具 ETL 工具与手工编码 实现 ETL,到底是选用 ETL 工具,还是手工...
热门文档