Hadoop学习总结及应用思考
Hadoop学习总结
一、 背景
随着信息时代脚步的加快,各类数据信息越来越多,海量数据的来源列举如下: ◎纽约证券交易所每天产生1TB的交易数据。
◎Facebook存储着约100亿张照片,约1PB数据。
◎Ancestry.com,一个家谱网站,存储着2.5PB数据。
◎The Internet Archive(互联网档案馆)存储着约2PB的数据,并以每月至少20TB的速度增长。
◎瑞士日内瓦附近的大型强子对撞机每年产生约15PB数据。
面对海量数据,如何存储和分析,从中获取有价值信息,变得十分重要。Hadoop正是在这样的背景下产生的,它提供了一个可靠的共享存储和分析系统。由于具备低成本和前所未有的高扩展性,Hadoop已被公认为是新一代的大数据处理平台,就像30年前的SQL出现一样,Hadoop正带来了新一轮的数据革命。
二、Hadoop相关概念
1、Hadoop简述
Hadoop是Apache的一个分布式计算开源框架,它可以运行于大中型集群的廉价硬件设备上,为应用程序提供了一组稳定可靠的接口。同时它是Google集群系统的一个开源项目总称。底层是Google文件系统(GFS)。
基于java语言构建的Hadoop框架实际上一种分布式处理大数据平台,其包括软件和众多子项目。在近十年中Hadoop已成为大数据革命的中心。
2、其子项目简述:
◎MapReduce 分布式数据处理模型和执行环境,运行于大型商用机集群。
◎HDFS 分布式文件系统,运行于大型商用机集群。
◎Pig 一种数据流语言和运行环境,用以检索非常大的数据集。Pig运行在MapReduce和HDFS的集群上。
◎Hive 一个分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据,并提供基于SQL的查询语言(由运行时引擎翻译成MapReduce作业)用以查询数据。
◎ZooKeeper 一个分布式、可用性高的协调服务。ZooKeeper提供分布式锁之类的基本服务用于构建分布式应用。
Hadoop学习总结_计算机/互联网_科技_PPT专区。Hadoop 一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用...
hadoop学习总结_计算机软件及应用_IT/计算机_专业资料 暂无评价0人阅读0次下载举报文档 hadoop学习总结_计算机软件及应用_IT/计算机_专业资料。hadoop学习总结...
13.hadoop学习总结_计算机软件及应用_IT/计算机_专业资料 暂无评价0人阅读0次下载举报文档 13.hadoop学习总结_计算机软件及应用_IT/计算机_专业资料。---分布式...
Hadoop学习总结之二:HD... Hadoop学习总结之三:Ma... Hadoop学习总结之四:...? ? HDFS(Hadoop Distributed File System)默认的最基本的存储单位是 64M 的...
Hadoop学习总结之五:Hadoop的运行痕迹_IT/计算机_专业资料。Hadoop学习总结之五:Hadoop的运行痕迹在使用 hadoop 的时候,可能遇到各种各样的问题,然而由于 hadoop 的...
Hadoop学习总结之三:Map-Reduce入门_IT/计算机_专业资料。Hadoop学习总结之三:Map-Reduce入门1、Map-Reduce 的逻辑过程 、假设我们需要处理一批有关天气的数据,其...
it is possible to control this value by setting various Hadoop properties. ... hadoop配置 9页 免费 喜欢此文档的还喜欢 hadoop学习总结 32页 1下载券 ...
Hadoop学习总结之一:HD... Hadoop学习总结之三:Ma... Hadoop学习总结之四:Ma... Hadoop学习总结之五:Ha...1/2 相关文档推荐...
Hadoop学习总结之四:Map-Reduce的过程解析_IT/计算机_专业资料。Map-Reduce的过程解析一、客户端 Map-Reduce 的过程首先是由客户端提交一个任务开始的。 提交任务...
热门文档