文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > Hadoop部署
侵权投诉

Hadoop部署

Hadoop是一个分布式系统基础架构,是 Apache 下的一个项目,由HDFS、 MapReduce、 HBase、Hive 和ZooKeeper等成员组成。其中,HDFS 和 MapReduce 是两个最基础最重要的 成员。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力 高速运算和存储。简单地说来,Hadoop 是一个可以更容易开发和运行处理大规模数据的软 件平台。

Hadoop 部署

前言: Hadoop是一个分布式系统基础架构,是Apache 下的一个项目,由HDFS、MapReduce、HBase、Hive 和ZooKeeper等成员组成。其中,HDFS 和MapReduce 是两个最基础最重要的成员。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来,Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。

Hadoop框架中最核心的设计就是:MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的,简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。

MapReduce从它名字上来看就大致可以看出个缘由,两个动词Map和Reduce,“Map(展开)”就是将一个任务分解成为多个任务,“Reduce”就是将分解后多任务处理的结果汇总起来,得出最后的分析结果。这不是什么新思想,其实在前面提到的多线程,多任务的设计就可以找到这种思想的影子。不论是现实社会,还是在程序设计中,一项工作往往可以被拆分成为多个任务,任务之间的关系可以分为两种:一种是不相关的任务,可以并行执行;另一种是任务之间有相互的依赖,先后顺序不能够颠倒,这类任务是无法并行处理的。回到大学时期,教授上课时让大家去分析关键路径,无非就是找最省时的任务分解执行方式。在分布式系统中,机器集群就可以看作硬件资源池,将并行的任务拆分,然后交由每一个空闲机器资源去处理,能够极大地提高计算效率,同时这种资源无关性,对于计算集群的扩展无疑提供了最好的设计保证。(其实我一直认为Hadoop的卡通图标不应该是一个小象,应该是蚂蚁,分布式计算就好比蚂蚁吃大象,廉价的机器群可以匹敌任何高性能的计算机,纵向扩展的曲线始终敌不过横向扩展的斜线)。任务分解处理以后,那就需要将处理以后的结果再汇总起来,这就是Reduce要做的工作。如下图:

HDFS是分布式计算的存储基石,Hadoop的分布式文件系统和其他分布式文件系统有很多类似的特质。分布式文件系统基本的几个特点:

1. 对于整个集群有单一的命名空间。

2. 数据一致性。适合一次写入多次读取的模型,客户端在文件没有被成功创建之前无

法看到文件存在。

3. 文件会被分割成多个文件块,每个文件块被分配存储到数据节点上,而且根据配置

会由复制文件块来保证数据的安全性。

Hadoop部署

第1页

你可能喜欢

热门文档

相关文档

  • Hadoop安装配置超详细步骤

    Hadoop安装配置超详细步骤_计算机软件及应用_IT/计算机_专业资料。Hadoop 的安装 1、实现 linux 的 ssh 无密码验证配置. 2、修改 linux 的机器名,并配置 /etc/...

  • hadoop部署总结

    hadoop部署总结_计算机软件及应用_IT/计算机_专业资料。采用双 namenode 节点,多 datanode 节点配置。 在新版本 HDFS 的配置中,所有节点的配置文件都是统一的(除 ...

  • hadoop部署

    hadoop部署_IT/计算机_专业资料。hadoop详细部署方案1.安装 jdk,hadoop 安装将 jdk 安装文件放置/home 目录下 修改 bin 文件权限,使其可执行。 sudochmod +x jdk...

  • Hadoop部署

    Hadoop部署_计算机软件及应用_IT/计算机_专业资料。hadoop分布式部署Hadoop 多节点集群安装指南 我们用 2 个节点来安装 Hadoop 集群,其中 192.168.129.35 是主节点...

  • hadoop部署文档(一)

    Hadoop 环境变量设置和配置文件修改 在/home/hadoop/HadoopInstall/hadoop-conf/hadoop_env.sh 文件中设置环境变量: export JAVA_HOME=/usr/java/jdk1.6.0_06 ...

  • hadoop部署

    hadoop部署_计算机硬件及网络_IT/计算机_专业资料。hadoop部署hadoop 部署 2014 年 5 月 15 日 14:21 软件版本:hadoop-2.2.0 操作系统:centos-5.5 1. 部署...

  • hadoop部署手册

    Hadoop 部署手册 1 hadoop 集群安装 1.1 环境 Linux ,jdk1.5 以上 1.2 角色在 Hadoop 部署的分布式文件系统中有 4 种角色:namenode,datanode,jobtracker, ...

  • hadoop 2配置

    hadoop 2.0 详细配置教程作者:杨鑫奇 PS:文章有部分参考资料来自网上,并经过实践后写出,有什么问题欢迎大家联系我。 update: 20130518 大家可以尝试下 Ambari 来...

  • hadoop的部署

    所有机器用户名均设为 hadoop,主目录为/home/hadoop。Hadoop 部署完成后的目录结 构如下:/home/hadoop/hadoop-0.20.0 3、SSH 设置 3.1 SSH 工作机理简要说明...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email