我个人的hadoop安装流水账笔记,没有做整理
注:本文档仅记录我平时安装的操作过程,没有做过系统整理,如有重复或罗嗦之处,敬请谅解
另外:在配置ssh、等遇到的问题,请参照我的另外一个 文档《ubuntu问题汇总.txt》
1.下载
Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件,所以如果需要在64位系统上部署则需要单独下载src 源码自行编译(10楼评论中提供了一个解决方法链接)。
下载地址:doc.guandang.net
2、拓扑结构:
192.168.1.107 ubuntu02 [公司笔记本] /home/hadoop (后来增加)
192.168.1.104 ubuntu03 [公司笔记本] /home/hadoop
192.168.1.105 ubuntu04 [家庭笔记本] /home/hadoop (namenode)
192.168.1.106 ubuntu05 [家庭笔记本] /home/hadoop
3.配置host
cd /etc
sudo vi /etc/hosts
将
192.168.1.107 ubuntu02
192.168.1.104 ubuntu03
192.168.1.105 ubuntu04
192.168.1.106 ubuntu05
复制进去保存
重复每台虚拟机直至完成
4.配置ssh
进入ubuntu04的hadoop主目录(即:/home/hadoop)
mkdir .ssh
chmod 700 .ssh
cd .ssh
ssh-keygen -t rsa -p 一路回车直至完成
ssh-keygen -t rsa -P ''
cp id_rsa.pub authorized_keys
每个节点重复以上几个步骤,直至完成
将每个节点的authorized_key合并成一个大的authorized_keys,将合并后的authorized_keys分发到各个节点的对应目录,覆盖原来的authorized_keys
scp /home/hadoop/.ssh/authorized_keys hadoop@ubuntu02:/home/hadoop/.ssh
scp /home/hadoop/.ssh/authorized_keys hadoop@ubuntu03:/home/hadoop/.ssh
scp /home/hadoop/.ssh/authorized_keys hadoop@ubuntu05:/home/hadoop/.ssh
在ubuntu04执行 ssh ubuntu03
5.安装jdk(这里以.tar.gz版本,32位系统为例)
安装方法参考doc.guandang.net
5.1 选择要安装java的位置,如/home/hadoop/目录下,新建文件夹java(mkdirjava)
5.2 将文件jdk-7u40-linux-i586.tar.gz移动到/home/hadoop/
5.3 解压:tar -zxvf jdk-7u40-linux-i586.tar.gz
5.4 删除jdk-7u40-linux-i586.tar.gz(为了节省空间)
至此,jkd安装完毕,下面配置环境变量
5.5、打开/etc/profile(vim /etc/profile)
在最后面添加如下内容:
JAVA_HOME=/home/hadoop/jdk1.7.0_67
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export CLASSPATH
5.6、source /etc/profile
5.7、验证是否安装成功:java–version
【注意】每台机器执行相同操作,最好将java安装在相同路径下(不是必须的,但这样会使后面的配置方便很多)
6.安装hadoop2.20
6.1 解压:tar -zxvf hadoop220.tar.gz
6.2 hadoop配置过程
/dfs/name
/dfs/data
/temp
这里要涉及到的配置文件有7个:
~/hadoop220/etc/hadoop/hadoop-env.sh
~/hadoop220/etc/hadoop/yarn-env.sh
~/hadoop220/etc/hadoop/
hadoop2.2.0安装笔记_计算机软件及应用_IT/计算机_专业资料。Hadoop 2.2 安装笔记 测试环境:硬件: PC 机(12G 内存 , AMD phenomII x4 CPU,120G SSD 硬盘...
hadoop安装笔记_IT/计算机_专业资料。亲手记录的hadoop安装笔记,包含伪分布式和分布式两次安装的详细步骤,以及安装后的基本功能测试与验证。Hadoop...
Centos6 hadoop安装笔记_计算机软件及应用_IT/计算机_专业资料。在Centos下安装hadoop,helloworld级别安装。Centos6 Hadoop1.2 安装 HelloWorld 级 Centos6 Hadoop 安装...
Hadoop安装笔记原创01_计算机软件及应用_IT/计算机_专业资料。Hadoop 搜索引擎,大...hadoop jar hadoop-examples-1.2.1.jar 一直运行到完成(因为运行过程有些长,...
Hadoop 版本:hadoop-1.2.1-bin.tar Jdk 版本:jdk-6u30-linux-i586 需要的软件:VMWare 9,ubuntu10.04 首先安装 vmware9,然后在其中利用 ubuntu 的镜像安装 ...
HADOOP2.2安装部署手册_计算机软件及应用_IT/计算机_专业资料。hadoop2.2 hive hbase shark spark zookeeper安装HADOOP2.2 安装部署手册 XXXXX 公司 2014 年 5 月...
在CentOS7上安装Hadoop2.5.2及Spark1.1.1_计算机软件及应用_IT/计算机_专业...192.168.86.2 VMnet8:笔记本 192.168.86.1 255.255.255.0 网关为空 (...
Hadoop伪分布模式安装笔记_IT/计算机_专业资料。Hadoop伪分布模式安装笔记 中文版本...Hadoop 配置 下载 hadoop-0.20.2.tar.gz,将其解压到/usr/local/hadoop 目录...
shark+hive+spark+tachyon+hadoop安装配置(网络版)_互联网_IT/计算机_专业资料。...2.2 软件信息软件名称 Jdk 版本 1.7.0_45 http://www.oracle.com/...
hadoop jar /home/icespark5/bd/hadoop-2.2.0/share/hadoop/mapreduce/hadoop...安装 Spark 1、安装 Scala (1) 版本 scala-2.10.3.tgz,解压,设置环境变量...
热门文档