随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一个非常重要且紧迫的需求。
作为一家互联网数据分析公司,我们在海量数据的分析领域那真是被“逼上梁山”。多年来在严苛的业务需求和数据压力下,我们几乎尝试了所有可能的大数据分析方法,最终落地于Hadoop平台之上。
Hadoop在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势,事实上已成为当前互联网企业主流的大数据分析平台。本文主要介绍一种基于Hadoop平台的多维分析和数据挖掘平台架构。
大数据分析的分类
Hadoop平台对业务的针对性较强,为了让你明确它是否符合你的业务,现粗略地从几个角度将大数据分析的业务需求分类,针对不同的具体需求,应采用不同的数据分析架构。
按照数据分析的实时性,分为实时数据分析和离线数据分析两种。 实时数据分析一般用于金融、移动和互联网B2C等产品,往往要求在数秒内返回上亿行数据的分析,从而达到不影响用户体验的目的。要满足这样的需求,可以采用精心设计的传统关系型数据库组成并行处理集群,或者采用一些内存计算平台,或者采用HDD的架构,这些无疑都需要比较高的软硬件成本。目前比较新的海量数据实时分析工具有EMC的Greenplum、SAP的HANA等。
对于大多数反馈时间要求不是那么严苛的应用,比如离线统计分析、机器学习、搜索引擎的反向索引计算、推荐引擎的计算等,应采用离线分析的方式,通过数据采集工具将日志数据导入专用的分析平台。但面对海量数据,传统的ETL工具往往彻底失效,主要原因是数据格式转换的开销太大,在性能上无法满足海量数据的采集需求。互联网企业的海量数据采集工具,有Facebook开源的Scribe、LinkedIn开源的Kafka、淘宝开源的Timetunnel、Hadoop的Chukwa等,均可以满足每秒数百MB的日志数据采集和传输需求,并将这些数据上载到Hadoop中央系统上。
按照大数据的数据量,分为内存级别、BI级别、海量级别三种。
暂无评价0人阅读0次下载举报文档 大数据分析系统架构之探讨_计算机软件及应用_IT/计算机_专业资料。本文通过对大数据分析的一些平台,工具,组件的简单认识,并根...
() 文章编号 :56400210012014020100--- 基于大数据技术的学习分析系统架构2 31冯 翔1, 余明华 , 马晓玲 , 吴永和 (00062;1.华东师范大学 上海数字化教育装备...
大数据分析平台 ? 产品技术架构 ? 典型行业应用案例 -技术基础研究方向 技术基础研究方向研究方向 关键任务 制高点 1)基于内存计算的机器学习算法 2)行业大数据深度...
多图技术贴:深入浅出解析大数据平台架构_计算机软件及应用_IT/计算机_专业资料。...应用三离线日志分析 应用五在线数据分析 参考资料:京东基于 Samza 的流式计算...
大数据的系统架构支持_互联网_IT/计算机_专业资料。大数据的系统架构支持 @林仕鼎...持续优化 数据智能快速开发 开发框架 验证 数据分析 测试 部署运维 应用引擎 ...
teradata 统一数据架构为用户带来无限的数据分析灵活性_互联网_IT/计算机_专业资料...借助大数据分析方面的出色优势,Teradata 的集成数据仓库平台 可针对商业智能提供...
算的大数据统一分析平台进行了详尽的研究与设计,包括大数据分析平台的架构体 系、大数据分析平台的软件架构、大数据分析平台的网络架构、大数据统一分析平 台的方案...
大数据平台架构的思考_计算机软件及应用_IT/计算机_专业资料。 今日...大数据下的数据分析平台... 5页 免费 ClickV平台架构-数据构成... 暂无评价...
结合大数据研究和应用现状,提出了大数据平台的体系架构,并对平台应用模式、大数 据应用标准、大数据存储、大数据分析处理以及大数据平台相关技术进行了研究和综述,...
基于P2P 可伸缩架构的 大数据分析平台研究与实现 (申请清华大学工程硕士专业学位论文 ) 培养单位: 软件学院 工程领域 :申 软件工程 安教授 请人:卓 指导教师 :...
热门文档