数据质量和数据清理在电信数据仓库中的应用
Data Quality, Data Cleaning and Applying to Telecom Data Warehouse
关键词:数据仓库;数据质量;数据清理;ETL;构件
Keywords: Data Warehouse; Data Quality; Data Cleaning; ETL; Component
摘要:在研究数据质量问题相关理论的基础上,面对电信企业高质量数据需求,设计了面向电信应用的数据质量控制体系,接着,详细介绍了包含概念定义层、逻辑规范层和物理实现层三层的数据清理框架,最后描述了采用基于构件的设计模式,实现的以数据清理为主要功能的数据加载(ETL)系统。目前该系统已经应用于某电信运营企业数据仓库项目中,效果显著。
Abstract: Based on the research of the theories related to data quality problems, and for the requirements of high level data quality to telecom enterprises, a data quality control architecture oriented telecom applications is designed. A data cleaning framework with three tiers, such as notion defined tier, logic normalized tier and physical implemented tier, is discussed. An ETL system for the purpose of data cleaning is implemented by using design pattern based on component. The system is in used by a telecom enterprise, and worked well now.
1 引言
当今企业已建设或正在建设数据仓库系统以辅助决策,提高其核心竞争力,这需要将长期积累的大量反映各种业务环境的数据,按照相应主题从同构或异构平台,通过一定的ETL方法和过程将它们进行抽取、过滤、清洗、转换,然后加载到中央数据仓库中进行整合,形成完整的企业业务视图。
数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合,支持管理部门的决策过程[1]。数据仓库也被看作是一种过程,即对企业中同(异)种数据源中的数据进行整合、加工和分析的过程。
ETL(Extraction, Transformation, Loading)即数据抽取、转换和加载,是数据仓库实现过程中,将数据由数据源系统向数据仓库加载的主要过程。
现实世界中的数据源极易受空缺、不一致和噪声数据的侵扰。根据GIGO(garbage in ,garbage out)原理,没有良好的数据质量作后盾,再先进的数据处理技术和分析工具也不能发挥作用,要想数据仓库真正发挥作用,就必须提高业务系统的数据质量。由此看来,数据质量的控制成为数据仓库建设发展过程中越来越引起重视的突出问题,而解决这些问题的过程称为数据清理。数据清理(data cleaning,data cleansing或者data scrubbing)在文献[2]中被定义为:发现和清除数据中的错误和不一致来提高数据的质量。在数据仓库环境下,数据清理是ETL 过程的一个重要部分,要考虑数据仓库的集成性与面向主题的需要。
数据清理目的是检测数据中存在的错误和不一致,剔除或者改正它们,这样就提高了数据的质量[2]。业务系统数据清理是提升业务系统数据质量的有效手段,是数据仓库实施过程中数据质量管控的源头,是整个数据仓库项目成功的关键。业务系统数据清理工作一方面能有效提升业务系统的数据质量和系统可用性,另一方面也能有效降低整个数据仓库ETL的复杂度和工作量,保证数据仓库中的数据质量。
2数据质量问题
数据清理主要是针对源数据库,对其中出现二义性、重复、不完整、违反业务或逻辑规则等问题的数据进行相应的清洗操作,在清洗之前需要进行数据质量分析,以找出存在问题的数据,否则数据清洗将无从谈起。
2.1数据质量定义
浙江电信数据仓库数据清理小结 浙江电信数据仓库数据清理小结 数据仓库数据清理数据质量差一直来是影响很多分析型应用系统使用不佳的直接原因。 浙江电信数据仓库 项目...
浅析提升电信企业数据仓库中数据质量的方法_专业资料。本文通过对当前国内电信市场中数据仓库规划和应用的分析和探讨,得出数据仓库中数据质量问题的来源,并且对此提出...
专题:全业务运营与IT支撑 电信数据仓库数据质量问题及提升方法探讨刘 肠 上海200122) (中国电信股份有限公司上海研究院 1 引言目前。中国电信各省公司均根据IT战略...
电信行业的数据仓库应用特点 数据仓库的应用是满足对数据进行整理和分析的需求,与...如果数据质量无法保障,分析的结果也会无法保证准确性,因此数据质量对数据仓库 的...
电信数据仓库数据质量问题分析及提升措施研究_专业资料。如何确保数据质量是电信数据仓库面临的一道难题,本文中,笔者分析了在数据仓库建设中一些常见数据质量问题及其...
数据质量和数据清理在电... 7页 1下载券 数据仓库技术在电信管理... 4页...数据仓库 的应用和 与 现有数据 库的 结合寄 予了厚望, 同时随 着数据仓库...
数据质量和数据清理在电... 7页 1下载券 《×...电信行业的数据仓库就势在必行了, 而保证数据仓库中...应用f湖南移动女营分析击簟直持系统巾.缝a宴践...
数据清理2_计算机软件及应用_IT/计算机_专业资料。数据清理现实世界中的数据源...根据用户 角色的不同将数据仓库质量分为四类:设计与管理质 量、软件实现质量、...
的数据质 量改进,需要从源头上杜绝一些问题数据,同时还涉及到数据仓库应用的数据...对于新录入到系统中的数据需要严格审查,从源头上保障 数据质量。 ●清理历史数据...
数据仓库技术在电信管理网中的应用_IT/计算机_专业资料。对数据仓库技术在电信...数据仓库 (D a ta W a rehou se ) 是利用大量高质量数据源对企 另外, ...
热门文档