BI商业智能
按缺失的内容分别写入不同Excel文件向客户提交,要求在规定的时间内补全。补全后才写入数据仓库。
B、错误的数据,产生原因是业务系统不够健全,在接收输入后没有进行判断直接写入后台数据库造成的,比如数值数据输成全角数字字符、字符串数据后面有一个回车、日期格式不正确、日期越界等。这一类数据也要分类,对于类似于全角字符、数据前后有不面见字符的问题只能写SQL的方式找出来,然后要求客户在业务系统修正之后抽取;日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败,这一类错误需要去业务系统数据库用SQL的方式挑出来,交给业务主管部门要求限期修正,修正之后再抽取。
C、重复的数据,特别是维表中比较常见,将重复的数据的记录所有字段导出来,让客户确认并整理。
数据清洗是一个反复的过程,不可能在几天内完成,只有不断的发现问题,解决问题。对于是否过滤、是否修正一般要求客户确认;对于过滤掉的数据,写入Excel文件或者将过滤数据写入数据表,在ETL开发的初期可以每天向业务单位发送过滤数据的邮件,促使他们尽快的修正错误,同时也可以作为将来验证数据的依据。数据清洗需要注意的是不要将有用的数据过滤掉了,对于每个过滤规则认真进行验证,并要用户确认才行。
2、数据转换
数据转换的任务主要是进行不一致的数据转换、数据粒度的转换和一些商务规则的计算。
A、不一致数据转换,这个过程是一个整合的过程,将不同业务系统的相同类型的数据统一,比如同一个供应商在结算系统的编码是XX0001,而在CRM中编码是YY0001,这样在抽取过来之后统一转换成一个编码。
B、数据粒度的转换,业务系统一般存储非常明细的数据,而数据仓库中的数据是用来分析的,不需要非常明细的数据,一般情况下,会将业务系统数据按照数据仓库粒度进行聚合。
C、商务规则的计算,不同的企业有不同的业务规则,不同的数据指标,这些指标有的时候不是简单的加加减减就能完成,这个时候需要在ETL中将这些数据指标计算好了之后存储在数据仓库中,供分析使用。
ETL日志与警告发送
1、ETL日志,记录日志的目的是随时可以知道ETL运行情况,如果出错了,出错在那里。
ETL日志分为三类。第一类是执行过程日志,是在ETL执行过程中每执行一步的记录,记录每次运行每一步骤的起始时间,影响了多少行数据,流水账形式。第二类是错误日志,当某个模块出错的时候需要写错误日志,记录每次出错的时间,出错的模块以及出错的信息等。第三类日志是总体日志,只记录ETL开始时间,结束时间是否成功信息。
如果使用ETL工具,工具会自动产生一些日志,这一类日志也可以作为ETL日志的一部分。
2、警告发送
ETL出错了,不仅要写ETL出错日志而且要向系统管理员发送警告,发送警告的方式有多种,常用的就是给系统管理员发送邮件,并附上出错的信息,方便管理员排查错误。
BI商业智能系统_计算机软件及应用_IT/计算机_专业资料。商业智能(Business Intelligence,简称BI)提供了提取数据、处理加工、信息访问的技术手段。经过多年发展,其运用...
BI商业智能介绍PPT_计算机/互联网_科技_PPT专区。BI商业智能介绍PPT,商业智能经典案例展示;BI简介 James Xu 艾比埃软件(中国)有限公司 11 内容安排 议程 内容...
BI 商业智能概要 隐藏>> 商业智能概要商业智能是指通过对数据的收集、管理、分析以及转化,把数据提升到知识,从而获得必要 的洞察力和理解力,更好地辅助决策和...
首先介绍了中国商业智能 (BI) 行业的概念, 接着分析了中国商业智能 (BI) 行业发展环境,然后对中国商业智能(BI)行业市场运行态势进行了重点分析,最后分析了 中国...
1.商业智能与电子商务概述 1.商业智能与电子商务概述 商业智能(Business Intelligence)也称为 BI,通常被理解为将企业中现有的数据转化 为知识, 帮助企业做出明智的...
30 多年来,Infor 商业智能(Infor? Business Intelligence [BI])解决方案帮助众多领先公司优化其业 务流程的效能。Infor10 BI 有三个重要组件 ,包括基于 Web应用...
BI商业智能:DashBoard_计算机软件及应用_IT/计算机_专业资料。BI商业智能:DashBoardDashboard---仪表盘 什么是Dashboard? Dashboard是个整合工具,可以把例如报表, ...
北京智道顾问有限责任公司 中国商业智能(BI)市场监测及投资前景 研究报告(2013) 智库在线(www.zikoo.com)秉承“智通库汇 ”的服务理 念,不断收集和更新市场调查...
2014商业智能(BI)行业内分析.pdfx_金融/投资_经管营销_专业资料 暂无评价0人阅读0次下载举报文档 2014商业智能(BI)行业内分析.pdfx_金融/投资_经管营销_专业...
热门文档