很简介和适合入门的介绍!
前言
在互联网应用逐渐成熟的今天,数据以指数级的方式在疯狂的成长着;在企业应用正在复杂化的当今,计算的需求正让CTO们忧心重重。“云计算”正在业界炒的如火如荼,IBM和google合作要为大学提供计算平台,IBM投资好几个亿要为企业提供服务平台,Yahoo开始为自己的搜索达建计算平台,amazon为企业和个人提供SaaS服务等等,那么这些动机背后有一个东西在支撑着他们的所有意图,那就是Hadoop.
然后回归到我们红旗自身的平台,满足PC的单机已经不能满足目前业界所需,企业的发展已经开始逐渐的向面向服务靠拢,大学、互联网应用、医疗、铁路售票、电信等迫切需要分布计算、集群管理。RedHat已经和amonz合作达建计算平台,且IBM的HPC已经开始支持其平台,我们不能落伍,“落伍就要挨打”。所以我们对Hadoop的研究是一条必走之路。
以下是对Hadoop是什么?能做什么?以及应用场景作一描述。
一、什么是Hadoop
Apache Hadoop 是一个用java语言实现的软件框架,在由大量计算机组成的集群中运行海量数据的分布式计算,它可以让应用程序支持上千个节点和PB级别的数据。Hadoop是从google的MapReduce和Google文件系统的论文获得的灵 感。
Hadoop是Apache的一线项目,开发和实用来自世界各地的社区,Yahoo!是目前为止最大的贡献者,并且Yahoo广泛使用它在搜索业务和广告业务上。IBM和Google的联合就是使用的Hadoop,为大学的课程提供分布式计算。
Hadoop的创始人是Doug Cutting(目前在yahoo工作),关于hadoop的命名,是Doug Cutting在它儿子画图时画了一只大象而获得的灵感。其实Doug Cutting最初的目的是想为Nutch搜索引擎提供分布式。
hadoop有三个子项目:Hadoop core,HBase, Zookeeper.
1、hadoop core,提供分布式文件系统HDFS,支持MapReduce分布式计算,组建大型集群。Hadoop框架中最核心设计就是:MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的,简单的一句话解释MapReduce就是任务的分解与结果的汇总。HDFS是Hadoop分布式文件系统的缩写,为分布式计算存储提供了底层支持。
2、HBase,类似Google的BigTable,是hadoop的数据库。
HBase使用和Bigtable非常相同的数据模型.用户存储数据行在一个表里.一个数据行拥有一个可选择的键和任意数量的列.表是疏松的存储的,因此用户可以给行定义各种不同的列。
3、Zookeeper,高可用和具有可靠的协调机制,分布式应用使用它来存储和协调。
Zookeeper是Google的Chubby一个开源的实现.是高有效和可靠的协同工作系统.Zookeeper能够用来leader选举,配置信息维护等.在一个分布式的环境中,我们需要一个Master实例或存储一些配置信息,确保文件写入的一致性等.Zookeeper能够保证如下3点:
Hadoop是什么 分享_计算机软件及应用_IT/计算机_专业资料。Hadoop是什么 分享Hadoop分享 ? ? ? ? ? ? ? 云计算概念 Google的云计算 Hadoop HDFS Map/Reduce 日...
Hadoop是什么_分享_计算机软件及应用_IT/计算机_专业资料。Hadoop是什么Hadoop分享 ? 火龙果 ? 整理 uml.org.cn ? ? ? ? ? ? 云计算概念 Google的云计算 H...
Hadoop经典案例 什么是Hadoop ? 简述– Apache Hadoop 是一个用java语言实现的软件框架,在由大量计算 机组成的集群中运行海量数据的分布式计算,它可以让应用程序 ...
? ? ? ? 1.什么是Hadoop Hadoop Common ? Hadoop Common: ? Hadoop抽象文件系统FileSystem 1.什么是Hadoop HDFS ? HDFS: Hadoop Distributed File System ? ...
Yahoo也推出MapReduce 的开源版本Hadoop,而且Hadoop在业界也已 经被大规模使用。 Google VS Hadoop Hadoop是什么? ? ? ? ? 一个分布式文件系统和并行执行环境 让...
首先,什么是海量数据?1G 算不算?10G 算不算?可以明确的说,这个 数量级的数据完全不能算是海量,hadoop 是专门处理 TB 甚至 PB 级数据的。当 数据量庞大到 ...
a)Puppet b)Pdsh c)Cloudera Manager d)Zookeeper 答案 ABD 具体可查看什么是 Zookeeper,Zookeeper 的作用是什么,在 Hadoop 及 hbase 中具 体作用是什么。 9. ...
组织处理流 iClient Hive 是什么 Hive是一个构建在hadoop上的数据仓库框架 cSlave2 cMaster cSlave0 Hive向hadoop提交任务 概念工作过程 Hive会将写好的数 据流处理...
例如,如果您要 grep 一个 10TB 的巨型文件,会出现什么情况?在传统的系统上,这将需要很 长的时间。但是 Hadoop 在设计时就考虑到这些问题,采用并行执行机制, ...
热门文档