ETL工具
所谓前过程、后过程,虽然不是专为数据质量预留的接口,不过至少可以利用它外挂一些数据质量控制的模块。
在具体实现上看,Datastage通过Job实现一个ETL过程,运行时可以通过指定不同参数运行多个实例。Powercenter通过Mapping表示一个ETL过程,运行时为Session,绑定了具体的物理数据文件或表。在修改维护上,这两个工具都是提供图形化界面。这样的好处是直观、傻瓜式的;不好的地方就是改动还是比较费事(特别是批量化的修改)。
定制开发方面,两者都提供抽取、转换插件的定制,但笔者认为,Datastage的定制开发性要比Powercenter要强那么一点点。因为Datastage至少还内嵌一种类BASIC语言,可以写一段批处理程序来增加灵活性,而Powercenter似乎还缺乏这类机制。另外从参数控制上,虽然两者的参数传递都是比较混乱的,但Datastage至少可以对每个job设定参数,并且可以job内部引用这个参数名;而Powercenter显得就有些偷懒,参数放在一个参数文件中,理论上的确可以灵活控制参数,但这个灵活性需要你自己更新文件中的参数值(例如日期更新)。另外,Powercenter还不能在mapping或session中引用参数名,这一点就让人恼火。
总起来看,Datastage和Powercenter可谓旗鼓相当,在国内也都有足够的支持能力,Datastage在2005年被IBM收购之后,可以说后劲十足。而Informatica则朝着BI全解决方案提供商方向发展,Powercenter显然还将是它的核心产品。 独树一帜:Teradata的ETL Automation
继续要说的第三种产品是Teradata的ETL Automation。之所以拿它单独来说是因为它和前面两种产品的体系架构都不太一样。与其说它是ETL工具,不如说是提供了一套ETL框架。它没有将注意力放在如何处理“转换”这个环节上,而是利用Teradata数据库本身的并行处理能力,用SQL语句来做数据转换的工作,其重点是提供对ETL流程的支持,包括前后依赖、执行和监控等。
这样的设计和Datastage、Powercenter风格迥异,后两者给人的印象是具有灵活的图形化界面,开发者可以傻瓜式处理ETL工作,它们一般都拥有非常多的“转换”组件,例如聚集汇总、缓慢变化维的转换。而对于Teradata的ETL Automation,有人说它其实应该叫做ELT,即装载是在转换之前的。的确,如果依赖数据库的能力去处理转换,恐怕只能是ELT,因为转换只能在数据库内部进行。从这个角度看,Automation对数据库的依赖不小,似乎是一种不灵活的设计。也正是这个原因,考虑它的成本就不单单是ETL产品的成本了。 其实,在购买现成的工具之外,还有自己从头开发ETL程序的。
ETL工作看起来并不复杂,特别是在数据量小、没有什么转换逻辑的时候,自己开发似乎非常节省成本。的确,主流的ETL工具价格不菲,动辄几十万;而从头开发无非就是费点人力而已,可以控制。至于性能,人大多是相信自己的,认为自己开发出来的东西知根知底,至少这些程序可以完全由自己控制。
主流ETL 工具选型 ETL(extract, transform and load)产品乍看起来似乎并不起眼,单就此项技术本 身而言,几乎也没什么特别深奥之处,但是在实际项目中,却常常在这个...
主流ETL 工具选型 ETL(extract, transform and load)产品乍看起来似乎并不起眼,单就此项技术本 身而言,几乎也没什么特别深奥之处,但是在实际项目中,却常常在这个...
如何选择 ETL 工具 吴悦 2003 年 4 月 数据仓库之路原创资料 http://www.dwway.com 一、 前言随着数据仓库技术和应用在国内发展的方兴未艾, 越来越多的人开始...
ETL工具选型_计算机软件及应用_IT/计算机_专业资料。ETL工具选型... 主流ETL工具选型 4页 免费 ETL工具比较 4页 免费 三大主流ETL工具选型 3页 ...
主流ETL 工具对比目前市场上主流的 ETL 工具有, 公司的 DataStage、 IBM ... 主流ETL工具选型 4页 免费 115-ETL工具设计系列 28页 免费 ETL工具比较 4页...
主流ETL工具 VS ETLPlus V5_计算机软件及应用_IT/计算机_专业资料。主流 ETL...比较: ETLPlus5 可根据代理资源情况 (CPU 和内存占用) 自动选择资源最优代理,...
4,选择安装目标路径,可以点击"Browse"更改安装路径.点击"Next" 进入下一步. ... ETL工具比较 4页 免费 主流ETL工具选型 4页 免费 开源ETL工具介绍 31页 7...
ETL工具以及BI产品选择分析报告_IT/计算机_专业资料。ETL工具以及BI产品选择分析...以下是当前主流的 ETL 厂商在 2002 年由 Gartner 进行分析图: 从图上可以看到...
主流ETL工具选型 4页 免费 数据挖掘中十大经典算法 33页 免费 数据仓库技术... 这也是构建数据仓库最重要的 意义所在 整个 BI/DW 系统由三大部分组成:数据...
做 ETL 产品的选型, 仍然需要从以前说的四点(即成本、 成本、 人员经验、 ...主流的 ETL 工具 ETL 工具与手工编码 实现 ETL,到底是选用 ETL 工具,还是手工...
热门文档