一、Hadoop基本介绍
Hadoop优点
1.高可靠性:Hadoop按位存储和处理数据
2.高扩展性:Hadoop是在计算机集群中完成计算任务,这个集群可以方便的扩展到几千台
3.高效性:Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度快
4.高容错性:Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配
5.低成本:Hadoop是开源的,集群是由廉价的PC机组成
Hadoop架构和组件 Hadoop是一个分布式系统基础架构,底层是HDFS(Hadoop Distributed File System)分布式文件系统,它存储Hadoop集群中所有存储节点上的文件(64MB块),HDFS上一层是MapReduce引擎(分布式计算框架),对分布式文件系统中的数据进行分布式计算。
1.HDFS架构
NameNode:Hadoop集群中只有一个NameNode,它负责管理HDFS的目录树和相关文件的元数据信息
Sencondary NameNode:有两个作用,一是镜像备份,二是日志与镜像定期合并,并传输给NameNode
DataNode:负责实际的数据存储,并将信息定期传输给NameNode
2.MapReduce架构(Hadoop0.23以后采用MapReduce v2.0或Yarn)
Yarn主要是把jobtracker的任务分为两个基本功能:资源管理和任务调度与监控,ResourceManager和每个节点(NodeManager)组成了新处理数据的框架。 ResourceManager:负责集群中的所有资源的统一管理和分配,接受来自各个节点(NodeManager)的资源汇报信息,并把这些信息按照一定的策略分配给各种应用程序(ApplicationMaster)。

NodeManager:与ApplicationMaster承担了MR1框架中的tasktracker角色,负责将本节点上的资源使用情况和任务运行进度汇报给ResourceManager。
MapReduce v1.0框架(图1)
如图配置 1.2.2 正式安装 Hadoop 完全分布式集群至少须要两台虚拟机,考虑到内存占用量大的问题,此处推荐以下 配置 内存 Master 1G 安装模 IP 地址 式 Minimal ...
Hadoop 2.4 完全分布式环境安装与配置_计算机软件及应用_IT/计算机_专业资料。Hadoop 2.4 完全分布式环境安装与配置依赖项 Java 1. 从 http://www.Oracle.com/...
hadoop2完全分布式最新高可靠安装文档及整合hbase0.96安装_互联网_IT/计算机_专业...hadoop 配置过程配置之前,需要在 master 本地文件系统创建以下文件夹: ~/dfs/...
安装Hadoop 完全分布式模式 出自 XiWi 跳转到:导航, 搜索 Hadoop 完全分布式模式 目录 [隐藏] 1 实验环境 2 实验目的 3 安装 4 配置文件概述 5 配置 6 运行 ...
Hadoop完全分布式配置(已配)_IT/计算机_专业资料。Hadoop 完全分布式配置环境: 环境...(4)在所有机器上安装 JDK ) 下载 jdk-6u29-linux-i586.bin,安装到/usr/...
Hadoop实战之Hadoop完全分布式集群安装_计算机软件及应用_IT/计算机_专业资料。要想...sudo passwd zhm //设置用户 zhm 登录密码 su zhm //切换到 zhm 用户中 ...
安装完成后,修改/usr/program 目录拥有着为 nutch 用户, 4 Linux 下 Hadoop 的分布式配置和使用 Chown -R nutch:nutch /usr/program /usr/ program 目录需要...
4 安装配置 hadoop 此处介绍的是完全分布式模式的安装。 4.1 安装文件把下载文件 ftp 上传到/home/xieyt/source 目录下 到 source 目录下,解压安装包: tar –...
伪分布式Hadoop安装配置测试全过程_计算机软件及应用_IT/计算机_专业资料。伪分布式Hadoop安装配置测试全过程1、安装 ubuntu10.10 wubi 的傻瓜式安装应该不用我多说了...
为了进一步 实际操作和使用 Hadoop,首先我们需要进行安装与配置。 Hadoop 的安装方式分为三种:单机模式、伪分布式、完全分布式。它们是根据需要面使用的,比如:作 ...
热门文档