BI商业智能
数据的抽取需要在调研阶段做大量工作,首先要搞清楚以下几个问题:数据是从几个业务系统中来?各个业务系统的数据库服务器运行什么DBMS?是否存在手工数据,手工数据量有多大?是否存在非结构化的数据?等等类似问题,当收集完这些信息之后才可以进行数据抽取的设计。
1、与存放DW的数据库系统相同的数据源处理方法
这一类数源在设计比较容易,一般情况下,DBMS(包括SQLServer,Oracle)都会提供数据库链接功能,在DW数据库服务器和原业务系统之间建立直接的链接关系就可以写Select 语句直接访问。
2、与DW数据库系统不同的数据源的处理方法。
这一类数据源一般情况下也可以通过ODBC的方式建立数据库链接,如SQL Server和Oracle之间。如果不能建立数据库链接,可以有两种方式完成,一种是通过工具将源数据导出成.txt或者是.xls文件,然后再将这些源系统文件导入到ODS中。另外一种方法通过程序接口来完成。
3、对于文件类型数据源(.txt,,xls),可以培训业务人员利用数据库工具将这些数据导入到指定的数据库,然后从指定的数据库抽取。或者可以借助工具实现,如SQL SERVER 2005 的SSIS服务的平面数据源和平面目标等组件导入ODS中去。
4、增量更新问题
对于数据量大的系统,必须考虑增量抽取。一般情况,业务系统会记录业务发生的时间,可以用作增量的标志,每次抽取之前首先判断ODS中记录最大的时间,然后根据这个时间去业务系统取大于这个时间的所有记录。利用业务系统的时间戳,一般情况下,业务系统没有或者部分有时间戳。
数据的清洗转换
一般情况下,数据仓库分为ODS、DW两部分,通常的做法是从业务系统到ODS做清洗,将脏数据和不完整数据过滤掉,再从ODS到DW的过程中转换,进行一些业务规则的计算和聚合。
1、数据清洗
数据清洗的任务是过滤那些不符合要求的数据,将过滤的结果交给业务主管部门,确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据和重复的数据三大类。
A、不完整的数据,其特征是是一些应该有的信息缺失,如供应商的名称,分公司的名称,客户的区域信息缺失、业务系统中主表与明细表不能匹配等。需要将这一类数据过滤出来,
BI商业智能系统_计算机软件及应用_IT/计算机_专业资料。商业智能(Business Intelligence,简称BI)提供了提取数据、处理加工、信息访问的技术手段。经过多年发展,其运用...
BI商业智能介绍PPT_计算机/互联网_科技_PPT专区。BI商业智能介绍PPT,商业智能经典案例展示;BI简介 James Xu 艾比埃软件(中国)有限公司 11 内容安排 议程 内容...
BI 商业智能概要 隐藏>> 商业智能概要商业智能是指通过对数据的收集、管理、分析以及转化,把数据提升到知识,从而获得必要 的洞察力和理解力,更好地辅助决策和...
首先介绍了中国商业智能 (BI) 行业的概念, 接着分析了中国商业智能 (BI) 行业发展环境,然后对中国商业智能(BI)行业市场运行态势进行了重点分析,最后分析了 中国...
1.商业智能与电子商务概述 1.商业智能与电子商务概述 商业智能(Business Intelligence)也称为 BI,通常被理解为将企业中现有的数据转化 为知识, 帮助企业做出明智的...
30 多年来,Infor 商业智能(Infor? Business Intelligence [BI])解决方案帮助众多领先公司优化其业 务流程的效能。Infor10 BI 有三个重要组件 ,包括基于 Web应用...
BI商业智能:DashBoard_计算机软件及应用_IT/计算机_专业资料。BI商业智能:DashBoardDashboard---仪表盘 什么是Dashboard? Dashboard是个整合工具,可以把例如报表, ...
北京智道顾问有限责任公司 中国商业智能(BI)市场监测及投资前景 研究报告(2013) 智库在线(www.zikoo.com)秉承“智通库汇 ”的服务理 念,不断收集和更新市场调查...
2014商业智能(BI)行业内分析.pdfx_金融/投资_经管营销_专业资料 暂无评价0人阅读0次下载举报文档 2014商业智能(BI)行业内分析.pdfx_金融/投资_经管营销_专业...
热门文档