文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 经管营销 > BI商业智能
侵权投诉

BI商业智能

BI商业智能

按缺失的内容分别写入不同Excel文件向客户提交,要求在规定的时间内补全。补全后才写入数据仓库。

B、错误的数据,产生原因是业务系统不够健全,在接收输入后没有进行判断直接写入后台数据库造成的,比如数值数据输成全角数字字符、字符串数据后面有一个回车、日期格式不正确、日期越界等。这一类数据也要分类,对于类似于全角字符、数据前后有不面见字符的问题只能写SQL的方式找出来,然后要求客户在业务系统修正之后抽取;日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败,这一类错误需要去业务系统数据库用SQL的方式挑出来,交给业务主管部门要求限期修正,修正之后再抽取。

C、重复的数据,特别是维表中比较常见,将重复的数据的记录所有字段导出来,让客户确认并整理。

数据清洗是一个反复的过程,不可能在几天内完成,只有不断的发现问题,解决问题。对于是否过滤、是否修正一般要求客户确认;对于过滤掉的数据,写入Excel文件或者将过滤数据写入数据表,在ETL开发的初期可以每天向业务单位发送过滤数据的邮件,促使他们尽快的修正错误,同时也可以作为将来验证数据的依据。数据清洗需要注意的是不要将有用的数据过滤掉了,对于每个过滤规则认真进行验证,并要用户确认才行。

2、数据转换

数据转换的任务主要是进行不一致的数据转换、数据粒度的转换和一些商务规则的计算。

A、不一致数据转换,这个过程是一个整合的过程,将不同业务系统的相同类型的数据统一,比如同一个供应商在结算系统的编码是XX0001,而在CRM中编码是YY0001,这样在抽取过来之后统一转换成一个编码。

B、数据粒度的转换,业务系统一般存储非常明细的数据,而数据仓库中的数据是用来分析的,不需要非常明细的数据,一般情况下,会将业务系统数据按照数据仓库粒度进行聚合。

C、商务规则的计算,不同的企业有不同的业务规则,不同的数据指标,这些指标有的时候不是简单的加加减减就能完成,这个时候需要在ETL中将这些数据指标计算好了之后存储在数据仓库中,供分析使用。

ETL日志与警告发送

1、ETL日志,记录日志的目的是随时可以知道ETL运行情况,如果出错了,出错在那里。

ETL日志分为三类。第一类是执行过程日志,是在ETL执行过程中每执行一步的记录,记录每次运行每一步骤的起始时间,影响了多少行数据,流水账形式。第二类是错误日志,当某个模块出错的时候需要写错误日志,记录每次出错的时间,出错的模块以及出错的信息等。第三类日志是总体日志,只记录ETL开始时间,结束时间是否成功信息。

如果使用ETL工具,工具会自动产生一些日志,这一类日志也可以作为ETL日志的一部分。

2、警告发送

ETL出错了,不仅要写ETL出错日志而且要向系统管理员发送警告,发送警告的方式有多种,常用的就是给系统管理员发送邮件,并附上出错的信息,方便管理员排查错误。

上一页第5页

你可能喜欢

  • BI解决方案
  • 数据仓库技术
  • 十大数据挖掘算法
  • 数据仓库实例
  • 商业智能分析
  • 商业智能BI
  • 工作流引擎的设计

热门文档

相关文档

  • BI商业智能系统

    BI商业智能系统_计算机软件及应用_IT/计算机_专业资料。商业智能(Business Intelligence,简称BI)提供了提取数据、处理加工、信息访问的技术手段。经过多年发展,其运用...

  • BI商业智能介绍PPT

    BI商业智能介绍PPT_计算机/互联网_科技_PPT专区。BI商业智能介绍PPT,商业智能经典案例展示;BI简介 James Xu 艾比埃软件(中国)有限公司 11 内容安排 议程 内容...

  • BI 商业智能概要

    BI 商业智能概要 隐藏>> 商业智能概要商业智能是指通过对数据的收集、管理、分析以及转化,把数据提升到知识,从而获得必要 的洞察力和理解力,更好地辅助决策和...

  • 2015年中国商业智能(BI)行业深度研究报告

    首先介绍了中国商业智能 (BI) 行业的概念, 接着分析了中国商业智能 (BI) 行业发展环境,然后对中国商业智能(BI)行业市场运行态势进行了重点分析,最后分析了 中国...

  • 商业智能BI与电子商务概述

    1.商业智能与电子商务概述 1.商业智能与电子商务概述 商业智能(Business Intelligence)也称为 BI,通常被理解为将企业中现有的数据转化 为知识, 帮助企业做出明智的...

  • Infor10商业智能BI

    30 多年来,Infor 商业智能(Infor? Business Intelligence [BI])解决方案帮助众多领先公司优化其业 务流程的效能。Infor10 BI 有三个重要组件 ,包括基于 Web应用...

  • BI商业智能:DashBoard

    BI商业智能:DashBoard_计算机软件及应用_IT/计算机_专业资料。BI商业智能:DashBoardDashboard---仪表盘 什么是Dashboard? Dashboard是个整合工具,可以把例如报表, ...

  • 中国商业智能(BI)市场监测及投资前景研究报告(2013)

    北京智道顾问有限责任公司 中国商业智能(BI)市场监测及投资前景 研究报告(2013) 智库在线(www.zikoo.com)秉承“智通库汇 ”的服务理 念,不断收集和更新市场调查...

  • 2014商业智能(BI)行业内分析.pdfx

    2014商业智能(BI)行业内分析.pdfx_金融/投资_经管营销_专业资料 暂无评价0人阅读0次下载举报文档 2014商业智能(BI)行业内分析.pdfx_金融/投资_经管营销_专业...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email