文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 计算机软件及应用 > 完全分布式Hadoop2.3安装与配置
侵权投诉

完全分布式Hadoop2.3安装与配置

一、Hadoop基本介绍

Hadoop优点

1.高可靠性:Hadoop按位存储和处理数据

2.高扩展性:Hadoop是在计算机集群中完成计算任务,这个集群可以方便的扩展到几千台

3.高效性:Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度快

4.高容错性:Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配

5.低成本:Hadoop是开源的,集群是由廉价的PC机组成

Hadoop架构和组件 Hadoop是一个分布式系统基础架构,底层是HDFS(Hadoop Distributed File System)分布式文件系统,它存储Hadoop集群中所有存储节点上的文件(64MB块),HDFS上一层是MapReduce引擎(分布式计算框架),对分布式文件系统中的数据进行分布式计算。

1.HDFS架构

NameNode:Hadoop集群中只有一个NameNode,它负责管理HDFS的目录树和相关文件的元数据信息

Sencondary NameNode:有两个作用,一是镜像备份,二是日志与镜像定期合并,并传输给NameNode

DataNode:负责实际的数据存储,并将信息定期传输给NameNode

2.MapReduce架构(Hadoop0.23以后采用MapReduce v2.0或Yarn)

Yarn主要是把jobtracker的任务分为两个基本功能:资源管理和任务调度与监控,ResourceManager和每个节点(NodeManager)组成了新处理数据的框架。 ResourceManager:负责集群中的所有资源的统一管理和分配,接受来自各个节点(NodeManager)的资源汇报信息,并把这些信息按照一定的策略分配给各种应用程序(ApplicationMaster)。

完全分布式Hadoop2.3安装与配置

NodeManager:与ApplicationMaster承担了MR1框架中的tasktracker角色,负责将本节点上的资源使用情况和任务运行进度汇报给ResourceManager。

MapReduce v1.0框架(图1)

第1页

热门文档

相关文档

  • 从CentOS安装到Hadoop2.4.0完全分布式配置

    如图配置 1.2.2 正式安装 Hadoop 完全分布式集群至少须要两台虚拟机,考虑到内存占用量大的问题,此处推荐以下 配置 内存 Master 1G 安装模 IP 地址 式 Minimal ...

  • Hadoop 2.4 完全分布式环境安装与配置

    Hadoop 2.4 完全分布式环境安装与配置_计算机软件及应用_IT/计算机_专业资料。Hadoop 2.4 完全分布式环境安装与配置依赖项 Java 1. 从 http://www.Oracle.com/...

  • hadoop2完全分布式最新高可靠安装文档及整合hbase0.96...

    hadoop2完全分布式最新高可靠安装文档及整合hbase0.96安装_互联网_IT/计算机_专业...hadoop 配置过程配置之前,需要在 master 本地文件系统创建以下文件夹: ~/dfs/...

  • 安装Hadoop完全分布式模式

    安装Hadoop 完全分布式模式 出自 XiWi 跳转到:导航, 搜索 Hadoop 完全分布式模式 目录 [隐藏] 1 实验环境 2 实验目的 3 安装 4 配置文件概述 5 配置 6 运行 ...

  • Hadoop完全分布式配置(已配)

    Hadoop完全分布式配置(已配)_IT/计算机_专业资料。Hadoop 完全分布式配置环境: 环境...(4)在所有机器上安装 JDK ) 下载 jdk-6u29-linux-i586.bin,安装到/usr/...

  • Hadoop实战之Hadoop完全分布式集群安装

    Hadoop实战之Hadoop完全分布式集群安装_计算机软件及应用_IT/计算机_专业资料。要想...sudo passwd zhm //设置用户 zhm 登录密码 su zhm //切换到 zhm 用户中 ...

  • Linux下Hadoop分布式配置和使用

    安装完成后,修改/usr/program 目录拥有着为 nutch 用户, 4 Linux 下 Hadoop 的分布式配置和使用 Chown -R nutch:nutch /usr/program /usr/ program 目录需要...

  • hadoop2.3.0+hive0.12.0+hbase0.98.1环境搭建和使用参...

    4 安装配置 hadoop 此处介绍的是完全分布式模式的安装。 4.1 安装文件把下载文件 ftp 上传到/home/xieyt/source 目录下 到 source 目录下,解压安装包: tar –...

  • 伪分布式Hadoop安装配置测试全过程

    伪分布式Hadoop安装配置测试全过程_计算机软件及应用_IT/计算机_专业资料。伪分布式Hadoop安装配置测试全过程1、安装 ubuntu10.10 wubi 的傻瓜式安装应该不用我多说了...

  • Hadoop的安装配置

    为了进一步 实际操作和使用 Hadoop,首先我们需要进行安装与配置。 Hadoop 的安装方式分为三种:单机模式、伪分布式、完全分布式。它们是根据需要面使用的,比如:作 ...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email