大数据下的数据分析平台架构
作者: baiyuzhong 分类:选题策划, 高端视点 阅读:14,562 次 添加评论
文/谢超
随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一个非常重要且紧迫的需求。
作为一家互联网数据分析公司,我们在海量数据的分析领域那真是被“逼上梁山”。多年来在严苛的业务需求和数据压力下,我们几乎尝试了所有可能的大数据分析方法,最终落地于Hadoop平台之上。 Hadoop在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势,事实上已成为当前互联网企业主流的大数据分析平台。本文主要介绍一种基于Hadoop平台的多维分析和数据挖掘平台架构。 大数据分析的分类
Hadoop平台对业务的针对性较强,为了让你明确它是否符合你的业务,现粗略地从几个角度将大数据分析的业务需求分类,针对不同的具体需求,应采用不同的数据分析架构。
按照数据分析的实时性,分为实时数据分析和离线数据分析两种。
实时数据分析一般用于金融、移动和互联网B2C等产品,往往要求在数秒内返回上亿行数据的分析,从而达到不影响用户体验的目的。要满足这样的需求,可以采用精心设计的传统关系型数据库组成并行处理集群,或者采用一些内存计算平台,或者采用HDD的架构,这些无疑都需要比较高的软硬件成本。目前比较新的海量数据实时分析工具有EMC的Greenplum、SAP的HANA等。
对于大多数反馈时间要求不是那么严苛的应用,比如离线统计分析、机器学习、搜索引擎的反向索引计算、推荐引擎的计算等,应采用离线分析的方式,通过数据采集工具将日志数据导入专用的分析平台。但面对海量数据,传统的ETL工具往往彻底失效,主要原因是数据格式转换的开销太大,在性能上无法满足海量数据的采集需求。互联网企业的海量数据采集工具,有Facebook开源的Scribe、LinkedIn开源的Kafka、淘宝开源的Timetunnel、Hadoop的Chukwa等,均可以满足每秒数百MB的日志数据采集和传输需求,并将这些数据上载到Hadoop中央系统上。
按照大数据的数据量,分为内存级别、BI级别、海量级别三种。
这里的内存级别指的是数据量不超过集群的内存最大值。不要小看今天内存的容量,Facebook缓存在内存的Memcached中的数据高达320TB,而目前的PC服务器,内存也可以超过百GB。因此可以采用一些内存数据库,将热点数据常驻内存之中,从而取得非常快速的分析能力,非常适合实时分析业务。图1是一种实际可行的MongoDB分析架构。
暂无评价0人阅读0次下载举报文档 大数据分析系统架构之探讨_计算机软件及应用_IT/计算机_专业资料。本文通过对大数据分析的一些平台,工具,组件的简单认识,并根...
大数据分析平台 ? 产品技术架构 ? 典型行业应用案例 -技术基础研究方向 技术基础研究方向研究方向 关键任务 制高点 1)基于内存计算的机器学习算法 2)行业大数据深度...
多图技术贴:深入浅出解析大数据平台架构_计算机软件及应用_IT/计算机_专业资料。...应用三离线日志分析 应用五在线数据分析 参考资料:京东基于 Samza 的流式计算...
() 文章编号 :56400210012014020100--- 基于大数据技术的学习分析系统架构2 31冯 翔1, 余明华 , 马晓玲 , 吴永和 (00062;1.华东师范大学 上海数字化教育装备...
大数据平台架构设计图_兵器/核科学_工程科技_专业资料。 今日推荐 180...如何进行大数据分析及处... 5页 免费 数据中心网络架构和设计... 43页 免费...
teradata 统一数据架构为用户带来无限的数据分析灵活性_互联网_IT/计算机_专业资料...借助大数据分析方面的出色优势,Teradata 的集成数据仓库平台 可针对商业智能提供...
大数据的系统架构支持_互联网_IT/计算机_专业资料。大数据的系统架构支持 @林仕鼎...持续优化 数据智能快速开发 开发框架 验证 数据分析 测试 部署运维 应用引擎 ...
基于P2P 可伸缩架构的 大数据分析平台研究与实现 (申请清华大学工程硕士专业学位论文 ) 培养单位: 软件学院 工程领域 :申 软件工程 安教授 请人:卓 指导教师 :...
算的大数据统一分析平台进行了详尽的研究与设计,包括大数据分析平台的架构体 系、大数据分析平台的软件架构、大数据分析平台的网络架构、大数据统一分析平 台的方案...
文中列举了大数据分析平台需要具备的几个重要特性,对当前的主流实现平台——并行数据库、 MpeueaRdc 及基于两 者的混合架构进行 了分析归纳,指出了 各自的优势及不...
热门文档