文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 计算机硬件及网络 > hadoop搭建
侵权投诉

hadoop搭建

详细的搭建过程

Hadoop是一个易于安装易于使用的系统,他既适用于云计算的新人学习,也适用于对云计算已经有一定研究的人深入学习(包括网格计算,并行计算等等)。Hadoop源于nutch,hadoop的两位创始人想开发一款开源的网络搜索引擎,但是在管理大量计算机时遇到了问题。后来google发表了关于GFS与MapReduce的论文,他们把论文中的思想应用到了Nutch中。最初他们把系统应用与20台机器上,但是很快他们发现为了处理互联网上的数据,他们需要上千台机器,这个问题超出了两个人能解决的程度。这是yahoo对hadoop产生了兴趣并成立开发小组帮助他们将这部分内容从nutch中分离出来,成为一个独立的系统,取名hadoop。
Nutch也是hadoop的顶级项目之一(详见doc.guandang.net) ,hadoop源于nutch,也独立于nutch。虽然两者已经互相独立,但是还有很紧密的联系。与此类似,hadoop也并不是一个单独的项目,hadoop内出了最基本的hadoop common外,还有hdfs,mapreduce,zookeeper。同时也有一些相关项目,比如avro,chukwa,hbase,hive,mahout,pig(这些项目中很多都是从hadoop的子项目升级为apache的顶级项目的,由此可见hadoop的火热)。
对于新手,我们推荐按照默认方式安装hadoop,即同时安装hadoop common,hadoop hdfs,hadoop mapreduce。
目前,Hadoop可以运行在linux,unix,windows系统上。实际上hadoop是为在linux平台上使用而开发出来的。但是hadoop在一些主流的unix版本(甚至包括Mac OS X)也运行良好。对于windows,这个问题有些复杂。如果你想在windows上运行hadoop,那么你必须先安装Cygwin以模拟linux环境,然后再安装hadoop。
安装hadoop前,你需要先安装java6与ssh,java6必须是sun公司的jdk,这是hadoop编译运行的需要,ssh推荐安装openssh(免费的~),安装ssh是因为hadoop需要通过ssh协议来启动各个节点上的守护进程。

安装hadoop
安装hadoop 的过程很简单,hadoop的使用也很简单,同时也很灵活。
Hadoop按三类分别将主机划分为两种角色,最基本的就是master和slave,主人与奴隶;按hdfs的角度,将主机划分为namenode和datanode(在分布式文件系统中,目录的管理很重要,管理目录就相当于主人,可以从这方面理解它们的关系);按mapreduce的角度,将主机划分为jobtracker和tasktracker(一个job经常被划分为多个task,从这个角度不难理解他们之间的关系)。接下来,说一下我们的搭建过程
假设我们有6台主机,同时假设这样一种场景:

某实验室想要研究hadoop,一开始只准备搭建一个有三台机器组成的小集群,搭建成功后使用时发现只有三台机器不能满足需要,因此又需要再添加三台机器。

分配给他们的ip地址为:
10.37.1

第1页

你可能喜欢

  • Hadoop搭建
  • hadoop集群
  • hadoop安装
  • hadoop部署
  • Linux系统命令使用详解
  • 分布式服务框架
  • hadoop开发

热门文档

相关文档

  • hadoop搭建与eclipse开发环境设置

    hadoop搭建与eclipse开发环境设置_计算机软件及应用_IT/计算机_专业资料。目的很简单,为进行研究与学习,部署一个hadoop运行环境,并搭建一个hadoop开发与测试环境。...

  • hadoop环境搭建

    hadoop搭建与eclipse开发... 19页 1下载券 hadoop集群环境的搭建和... 25页...vi /etc/sysconfig/network 这样就把机器名修改成 hadoop1 了,之后要注销一...

  • 搭建Hadoop

    hadoop搭建 5页 免费 Hadoop集群搭建 10页 5财富值 Hadoop环境搭建 16页 1财富值 Hadoop平台搭建 12页 免费 hadoop集群搭建 3页 免费...

  • Hadoop平台搭建步骤

    6. 解压 hadoop-0.20.2-cdh3u3.tar.gz; 解压 hbase-0.90.4-cdh3u3.tar.gz; 解压 hive-0.7.1-cdh3u3.tar.gz; 解压 zookeeper-3.3.4-cdh3u3.tar....

  • hadoop环境搭建

    hadoop环境搭建_计算机软件及应用_IT/计算机_专业资料。自己写的hadoop环境搭建步骤,如果有不合理的地方还望指正,谢谢。Hadoop 环境搭建作者:失意后的奋斗男 一、 ...

  • Hadoop平台搭建方案

    Hadoop平台搭建方案_互联网_IT/计算机_专业资料。centos6.4 下搭建hadoop平台Hadoop 平台搭建方案 一、Hadoop 简介 Hadoop 是 Apache 软件基金会旗下的一个开源...

  • hadoop伪分布式搭建

    Hadoop 的伪分布式搭建一、 关闭防火墙 service iptables off --关闭防火墙 service iptables statuts - -查看防火墙 chkconfig iptables off --关闭防火墙自动运 ...

  • hadoop平台搭建 多节点详细教程 一次就能搭建成功

    hadoop平台搭建 多节点详细教程 一次就能搭建成功_电脑基础知识_IT/计算机_专业资料。本次安装规划使用三个节点,每个节点都使用centos系统。三个节点的hostname分别...

  • Hadoop介绍+环境搭建

    Hadoop介绍+环境搭建_计算机软件及应用_IT/计算机_专业资料。云计算开发平台 ——Hadoop系统钱能武 030130733 目录 1.Hadoop概述 2.Hadoop分布式文件系统(HDFS)简介 ...

  • hadoop搭建进阶、多台机器分布式搭建

    hadoop搭建进阶、多台机器分布式搭建_计算机软件及应用_IT/计算机_专业资料。Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架,借助于 Hadoop, 程序...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email