数据库同步技术分析
建数据仓库的重要环节。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合,用以支持经营管理中的决策制定过程。
ETL工具实质上仍为一类数据转换器,提供一种从源到目标系统转换数据的方法。即从操作型系统提取、清洗并转换数据,然后将数据载入决策支持系统的操作型数据存储、数据仓库或数据集市中。具体功能针对不同的数据源编写不同的数据抽取、转换和加载程序处理,这完成了数据集成的大部分工作。总的来说,ETL工具提供了一种数据处理的通用解决方案。
优缺点分析
虽然ETL工具在一定程度上可实现数据的集中抽取,表面上看起来和数据复制软件有些类似。但是该软件的定位和重点和前两类技术完全不同的:
首先,ETL的定位是在数据仓库和业务系统之间搭建起一座桥梁,确保新的业务数据源源不断地进入数据仓库;
其次,ELT工具的最复杂点在于其涉及到大量的业务逻辑和异构环境,因此在一般的数据仓库项目中ETL部分往往也是牵扯精力最多的,因此其主要的难点在于数据的清晰转换功能:字段映射;映射的自动匹配;字段的拆分;多字段的混合运算;跨异构数据库的关联;自定义函数;多数据类型支持;复杂条件过滤;支持脏读;数据的批量装载;时间类型的转换;对各种码表的支持;环境变量是否可以动态修改;去重复记录;抽取断点;记录间合并或计算;记录拆分;抽取的字段是否可以动态修改;行、列变换;排序;统计;度量衡等常用的转换函数;代理主键的生成;调试功能;抽取远程数据;增量抽取的处理方式;制造样品数据;在转换过程中是否支持数据比较的功能;数据预览;性能监控;数据清洗及标准化;按行、按列的分组聚合等。
第三:ETL抽取的性能较低,因为该工具是通过数据库的SQL接口来获取数据的,因此其性能比较低。例如在某证券行业(对于1GB的数据,每天完成一次抽取需要几个小时,而当时用DSG Realsync作一次同步只需要3-5分钟)。
1.4 复制技术的推荐
经过上面的分析,我们可以看出几种数据复制工具各有自己适合的场合:
l 存储级复制技术:适合单纯的数据容灾,但不适合低带宽,远距离,以及不适合在备份中心实现数据的再利用;
l 数据库复制技术:适合oracle数据库的数据复制,可用于数据库系统的备份、以及备份数据的再利用,在备份系统上开发新的业务模块。但是该技术以来于数据库,所以一般都支持ORACLE数据库;
实现长输管道各站数据同步的技术分析 保证长输管道上各站压力信号序列的同步是应用负压波准确进行泄漏定位的基础。结合现场实例,针对专用电话线和网络传输这两种不...
基于Oracale数据库实时同步技术的研究与分析_互联网_IT/计算机_专业资料 暂无评价
移动数据库中数据同步技术的研究_专业资料。移动数据库和主数据库数据一致性问题是移动信息存取技术的关键问题之一。针对移动数据库中的数据同步技术进行了分析和...
为了防灾,最好 有多个异地的同步数据服务。这不光会大大增加数据可用性,还会有...本文试图对当前主要的数据库集群用到的具体技术进行分析,目的是评价每 种技术的...
数据库同步技术--成功_IT/计算机_专业资料。SQL SERVER 数据库同步解决方法(...在查询分析器的[Object Browser] [Object Browser]中可以看到如下图所示: 说明...
移动数据库同步技术的应用_计算机软件及应用_IT/计算机_专业资料。信 息产 业...分析 SQLServer 合并复制和基于 今日推荐 89份文档 爆笑大撞脸...
移动数据库同步技术及其应用_专业资料。移动数据库应用系统通过数据同步来处理和...介绍移动数据库及其特点,探讨分析SQL Server合并复制和基于XML的数据同步方式。...
移动数据库数据同步技术研究_专业资料。介绍移动数据库及其应用,分析数据同步技术的特点,针对目前流行的远程数据访问和合并复制数据同步技术提出了一种移动数据库同步...
数据同步技术研究丁 鲲,严 浩,刁兴春 (总参谋部第六十三研究所,江苏南京210007) 摘要:针对分布式数据库要求,在研究0racle及相关系统的基础上,分析比较了几种数据...
104_数据库实时同步技术研究(精简)_IT/计算机_专业资料。管理DB同步技术...异构数据库间的实时同步方法进行了分析研究, 结合数据实时备份项目的开发实践经验...
热门文档