文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 计算机软件及应用 > hadoop 2.2+spark安装笔记
侵权投诉

hadoop 2.2+spark安装笔记

我个人的hadoop安装流水账笔记,没有做整理

注:本文档仅记录我平时安装的操作过程,没有做过系统整理,如有重复或罗嗦之处,敬请谅解
另外:在配置ssh、等遇到的问题,请参照我的另外一个 文档《ubuntu问题汇总.txt》

1.下载
Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件,所以如果需要在64位系统上部署则需要单独下载src 源码自行编译(10楼评论中提供了一个解决方法链接)。
下载地址:doc.guandang.net

2、拓扑结构:
192.168.1.107 ubuntu02 [公司笔记本] /home/hadoop (后来增加)
192.168.1.104 ubuntu03 [公司笔记本] /home/hadoop
192.168.1.105 ubuntu04 [家庭笔记本] /home/hadoop (namenode)
192.168.1.106 ubuntu05 [家庭笔记本] /home/hadoop
3.配置host
cd /etc
sudo vi /etc/hosts
将
192.168.1.107 ubuntu02
192.168.1.104 ubuntu03
192.168.1.105 ubuntu04
192.168.1.106 ubuntu05
复制进去保存

重复每台虚拟机直至完成

4.配置ssh
进入ubuntu04的hadoop主目录(即:/home/hadoop)
mkdir .ssh
chmod 700 .ssh
cd .ssh
ssh-keygen -t rsa -p 一路回车直至完成
ssh-keygen -t rsa -P ''

cp id_rsa.pub authorized_keys

每个节点重复以上几个步骤,直至完成

将每个节点的authorized_key合并成一个大的authorized_keys,将合并后的authorized_keys分发到各个节点的对应目录,覆盖原来的authorized_keys

scp /home/hadoop/.ssh/authorized_keys hadoop@ubuntu02:/home/hadoop/.ssh
scp /home/hadoop/.ssh/authorized_keys hadoop@ubuntu03:/home/hadoop/.ssh
scp /home/hadoop/.ssh/authorized_keys hadoop@ubuntu05:/home/hadoop/.ssh



在ubuntu04执行 ssh ubuntu03

5.安装jdk(这里以.tar.gz版本,32位系统为例)
安装方法参考doc.guandang.net
5.1 选择要安装java的位置,如/home/hadoop/目录下,新建文件夹java(mkdirjava)
5.2 将文件jdk-7u40-linux-i586.tar.gz移动到/home/hadoop/
5.3 解压:tar -zxvf jdk-7u40-linux-i586.tar.gz
5.4 删除jdk-7u40-linux-i586.tar.gz(为了节省空间)
至此,jkd安装完毕,下面配置环境变量
5.5、打开/etc/profile(vim /etc/profile)
在最后面添加如下内容:

JAVA_HOME=/home/hadoop/jdk1.7.0_67
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export CLASSPATH


5.6、source /etc/profile
5.7、验证是否安装成功:java–version

【注意】每台机器执行相同操作,最好将java安装在相同路径下(不是必须的,但这样会使后面的配置方便很多)

6.安装hadoop2.20
6.1 解压:tar -zxvf hadoop220.tar.gz
6.2 hadoop配置过程
/dfs/name
/dfs/data
/temp

这里要涉及到的配置文件有7个:
~/hadoop220/etc/hadoop/hadoop-env.sh
~/hadoop220/etc/hadoop/yarn-env.sh
~/hadoop220/etc/hadoop/

第1页

热门文档

相关文档

  • hadoop2.2.0安装笔记

    hadoop2.2.0安装笔记_计算机软件及应用_IT/计算机_专业资料。Hadoop 2.2 安装笔记 测试环境:硬件: PC 机(12G 内存 , AMD phenomII x4 CPU,120G SSD 硬盘...

  • hadoop安装笔记

    hadoop安装笔记_IT/计算机_专业资料。亲手记录的hadoop安装笔记,包含伪分布式和分布式两次安装的详细步骤,以及安装后的基本功能测试与验证。Hadoop...

  • Centos6 hadoop安装笔记

    Centos6 hadoop安装笔记_计算机软件及应用_IT/计算机_专业资料。在Centos下安装hadoop,helloworld级别安装。Centos6 Hadoop1.2 安装 HelloWorld 级 Centos6 Hadoop 安装...

  • Hadoop安装笔记原创01

    Hadoop安装笔记原创01_计算机软件及应用_IT/计算机_专业资料。Hadoop 搜索引擎,大...hadoop jar hadoop-examples-1.2.1.jar 一直运行到完成(因为运行过程有些长,...

  • hadoop安装笔记

    Hadoop 版本:hadoop-1.2.1-bin.tar Jdk 版本:jdk-6u30-linux-i586 需要的软件:VMWare 9,ubuntu10.04 首先安装 vmware9,然后在其中利用 ubuntu 的镜像安装 ...

  • HADOOP2.2安装部署手册

    HADOOP2.2安装部署手册_计算机软件及应用_IT/计算机_专业资料。hadoop2.2 hive hbase shark spark zookeeper安装HADOOP2.2 安装部署手册 XXXXX 公司 2014 年 5 月...

  • 在CentOS7上安装Hadoop2.5.2及Spark1.1.1

    在CentOS7上安装Hadoop2.5.2及Spark1.1.1_计算机软件及应用_IT/计算机_专业...192.168.86.2 VMnet8:笔记本 192.168.86.1 255.255.255.0 网关为空 (...

  • Hadoop伪分布模式安装笔记

    Hadoop伪分布模式安装笔记_IT/计算机_专业资料。Hadoop伪分布模式安装笔记 中文版本...Hadoop 配置 下载 hadoop-0.20.2.tar.gz,将其解压到/usr/local/hadoop 目录...

  • shark+hive+spark+tachyon+hadoop安装配置(网络版)

    shark+hive+spark+tachyon+hadoop安装配置(网络版)_互联网_IT/计算机_专业资料。...2.2 软件信息软件名称 Jdk 版本 1.7.0_45 http://www.oracle.com/...

  • 超级详细的Hadoop2安装全过程

    hadoop jar /home/icespark5/bd/hadoop-2.2.0/share/hadoop/mapreduce/hadoop...安装 Spark 1、安装 Scala (1) 版本 scala-2.10.3.tgz,解压,设置环境变量...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email