文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 信息与通信 > 数据仓库技术及其应用
侵权投诉

数据仓库技术及其应用

对数据仓库的定义、特点、相关概念做了介绍,并从实际工程的角度阐述了其逻辑结构和开发流程,最后对数据仓库的应用及前景进行了总结和展望.

S C I卜闪C I

&

夕 0/ 0 NO . 3尸 1卜日 C闪0 1 0 0丫」 ) O ll M八 1{0闪 N

!下技术

数据仓库技术及其应用 曾志勇

(云南财经大学信息学院

昆明

65022 ) 1

摘要:对数据仓库的定义、特点、相关概念做了介绍,并从实际工程的角度阐述了其逻辑结构和开发流程,最后对数据仓库的应用及前景进行了总结和展望。关键词:数据仓库逻辑结构应用中图分类号:’ 3 11 11,’文献标识码: A文章编号: 1672 3791(2007)11(b卜0079一 02在激烈的市场竞争中,信息对于企业的生存和发展起着至关玉要的作用。表达信白的、数据随着时山和业务的发展而不断膨胀,」因而有人惊叹道:当今的时代是信急爆炸的时代。] h[时数据分布在不同的系统平台 !几具有多,种存储格式,作为领导和决策者如何从这样复杂的数据环境中得到有用的决策数据呢?随着分布式结构的成熟,数据库技术的提高和数据处理技术的发展,数据仓片(Data w arehouse,亨[) W)应运而生。

2数据仓库结构 2. 1数据仓库的一些重要概念 (1)1飞:即(1 x t ract/ r ransfor ln atioll/乙1’乙 Load)的缩写,指用户从数据源抽取出所需的

Sma l”的方法, l将操作数据,一定的按照 ETL策略加载到企业数据仓库,然后从数据仓 库中形成符合业务需求的部门级数据集市以便快速提交信息。 优点:

从全局的观点一步步地构造企业级数据义好的数据仓库模型,将数据加载到数据仓库仓库,易干看到阶段性的成果。中去。缺点: (2)元数据(metadata):即关于数据的数据,缺少数据校验和清洗机制,对业务需求的变化比较敏感。指在数据仓库建设过程中所产生的有关数据源定义,标定义,日转换规则等相关的关键数 (3企业级数据仓库(操作数据层数据仓 )据(技术元数据),同时元数据还包含关干数据库层,应用层) 1数据仓库定义其中:数据仓库层又可根据其存储内容和含义的商业信自商业元数据)。、 (业界公认的“数据仓库之父”W . 11 . (3)数据集市(Dat aMa rt s):为 r特定的应使用功能细分为:缓冲层(S ag ng Laye )、 t i r数 1:mo,《, 1在 Buildi, t lle l) a ta w are士 lg lousc》用日的或应用范围,而从数据仓库中独立出来一书1对数据仓库的定义是:数据仓床就是面一扫据仓库基本数据层、面向业务的数据层(Da a t 1 J卞题的( 5、〕 c t o r i e门 e〔、集成的台; 1 Je t 1)的一部分数据,也可称为部门数据或主题数 Ma r t )。从操作数据层抽取来的数据,经过适当的 (integratod)、1易失 0,卜的(:1 Ivolatil。 1时1]据。在数据仓床的实施过程中往往可以从一 )、通石个部门的数据集市

着手,以后再用儿个数据集清洗、校验、集成、转换(缓冲层),加载到不断变化(ti工 variarlt)的数据集合,、犯建立数据仓床的日的是为 r更好地支持决策分析。市组成 1个完整的数据仓库。数据仓库慕本数据层,再经过一定的转换加载,放到按主题组织的,符合不同业务部门的根据数据仓库概念的含义,数据仓库拥有 (4 )操作数据存储(o p e r a t ion l) a t a的四个特点是: t e S or ):介丁DB和Dw之间的一种数据存储应用需求的面向业务的数据层。优点:技术,1厉来面1]应用时分散的DB相比,不几台 1 ODS (1面向主题:与传统数据库面向事务处理 ) ( 1缓冲层可以保证数据加载的集成性和 )应用进行数据组织的特点相对应,数据仓库中中的数据组织方式和数据仓库(DW)样也是完整性。的数据是面向上题进行组织的。数据仓库通面向主题的和集成的,另外0口只是存放当前 5如果需要的话还可以对 (2数据仓库基本数据层保存了企业的一 )常围绕一此卜如“题,顾客”“、供应商”产或接近当前的数据,、“定时期内的完整的数据,为企业提供了唯一而品”消费者”等来进行组织。、“数据仓库关注 ODS中的数据进行增、删和更新等操作。完整的数据结构,并可以为数据集市的扩展提的是决策者的数据建模与分析,而不针对[常 2 .2逻辑结构 1一个数据仓库逻辑结构有多种多样,但在供支持。操作和事务的处理。因此,数据仓库排除对于根据数据仓库规模的大小, (3面向业务的数据层可以满足日 )常绝大决策无用的数据,提供特定主题的简明视图。具体工程实践中,部分的业务分析的需要,一小部分数据可以从 (2集成的:面向事务处理的操作型数据库数据仓库的结构可以总结出这么几种类型: )通常与某些特定的应用相关,数据库之间相互 (1)部门级数据仓库(操作数据层一>数数据仓库中得到,而不必使用缓冲层和操作数据层,从而将决策支持和业务系统隔离开来。独立,目并 .往往是异构的。而数据仓库中的数据集市层)在这种构架中,操作数据直接按照业务需 (4)每个层次之间的加载逻辑比较清晰简据是在对原有分散的数据库数据抽取、清理洁。的基础卜经过系统加仁、汇总和整理得到的,求加载到部门的数据集市。这是一种比较经济可行的数据仓库方案, (5)每个层次之间相对独立,可扩展性和可必须消除源数据中的不一致性,以保证数据仓如可以在保证慕本数据的前提 I,’\库内的信息是关于整个企业的一致的全局信在缺少高层的支持、数据仓库总体规划不维护性好,足

、缺少足够的预算、技术构架无法满足等建立和完善面向业务的数据层,从而在短期内自。、取得阶段性成果,然后在逐渐完善其他层次的 (3)非易失的:从数据的使用方式卜数看,情况下较为合适。建设。优点:据仓库的数据不可更新。数据保存到数据仓 (6对业务需求的变动不敏感, )如若操作数可以满足部门级的业务需要,经济可行,库中后,最终用户只能通过分析工具进行查询据层发生变化,主要只影响缓冲层,的数 J幻舌和分析,而不能修改,即数据仓库的数据对最并可作为企业级数据仓库的初步尝1 (P oo式r f据不变或变动很小;若应用层发生变化,主要终用户而言是只读的。从数据的内容卜数 Of一看, concePt )。缺点:只影响面向业务的数据层,其前的数据不变或据仓床存储的是企业当前和历史的数据,在一只能作为部门级的数据集市,缺少全局的定时间间隔以后,当前数据需要按照一定的方变动很小。缺点:考虑,容易造成“信息孤岛”。法转化成历史数据。 (2一般数据仓库(操作数据层一数据仓库 )系统较为复杂,需要完整的方法论的指 (4时变的:数据存储从历史的角度提供信 )导、充裕的时间以得到良好的项目规划和实层一集市层) J急。仓床的关键结构,隐式或显示地包含施。在这种构架中,“按照 Think Big, tart s时 J元素。 u

数据,经过数据清洗、转换,私照预先定最终

科技资讯 SC比NC巨& 1卜 CHNO[ OGY IN10 1 MA}}叹 ON

7 g

数据仓库技术及其应用

第1页

你可能喜欢

  • 十大数据挖掘算法
  • 数据仓库实例
  • 元数据管理
  • oracle常用函数
  • SQL查询语句大全
  • 数据库常用命令
  • 入门教程
  • 数据定义

热门文档

相关文档

  • 数据仓库技术与应用

    计算机与现代化 J ISUANJ I Y U XIANDAIHUA 总第 111 期 数据仓库技术与应用项 ,雷英杰 军 ( 空军工程大学导弹学院 ,陕西 三原 713800) 摘要 : 对数据仓库...

  • 数据仓库技术及其应用

    数据仓库技术及其应用_IT/计算机_专业资料。数据仓库技术及其应用第 卷第年月 期日 计 弄机 与庄用化母 , , 数 据仓 库技 术及 其应 用彭涛北 京联合...

  • 数据仓库技术及其应用现状与前景

    数据仓库技术及其应用现状与前景_IT/计算机_专业资料。数据仓库技术及其应用现状与前景中国保险 管理 干部 学院学报 年第 期 总第 期 数 据仓 库 技术 及 其...

  • 数据仓库技术的设计应用

    数据仓库技术的设计应用_专业资料。龙源期刊网 http://www.qikan.com.cn 数据仓库技术的设计应用 作者:赵永建 来源:《沿海企业与科技》2005 年第 02 期 [...

  • 浅谈银行业数据仓库技术及其应用

    本文通过分析银行业对数据仓库 的需求,探讨了数据仓库和数据挖掘技术在银行业的构建模式和应用前景。 关键词:数据仓库;数据挖掘;决策支持;模式 1 引言目前,中国...

  • 【论文】数据仓库技术的应用策略

    本文对数据仓库技术的应用进行了探讨,在阐述数据仓库特征和应用框架的基础上,重点分析了构建数据仓库的关键技术,最后介绍了数据仓库系统的设计方法。...

  • 【论文】基于数据仓库技术的应用研究

    应 用研 究 术一 基于数据仓库技术的应用研究 安淑萍 ( 河北 省 廊坊 市环 境卫 生管 理局 河 北廊 坊050 600) 摘要 : 作为近 年 来发展 迅 速的 ...

  • 【论文】数据仓库技术在数据服务平台中的应用

    数据仓库技术在数据服务平台中的应用_专业资料。本文介绍了数据仓库的定义、特征、结构及其相关技术。结合深圳银联数据服务平台,提出了系统数据仓库的解决方案及其实现...

  • 数据仓库技术在物流企业中的应用

    龙源期刊网 http://www.qikan.com.cn 数据仓库技术在物流企业中的应用 作者:郑茹琼 傅饶 来源:《电脑知识与技术》2013 年第 09 期 摘要:数据仓库是信息管理...

  • 数据仓库技术在企业财务管理决策中的应用

    龙源期刊网 http://www.qikan.com.cn 数据仓库技术在企业财务管理决策中的应用 作者:牛艳芳 来源:《财会通讯》2003 年第 09 期 ...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email