hadoop环境部署
一 Hadoop2.2.0的安装
root(123456) hadoop(hadoop)
1.安装环境:
集群:本次安装主要使用了4台安装了centos6.4 的服务器。 222.18.159.122 node136 (预备作为master节点NameNode) 222.18.159.123 node2 (slave节点DataNode) 222.18.159.125 node3 (slave节点DataNote) 222.18.159.126 node4 (slave节点DataNote) 同时在每个机器上建立相同的用户和节点 在每个机器上均建立hadoop用户(密码)(#useradd hadoop, #passwd hadoop),并将用户加入root组(usermod –g root hadoop)
且在/home/hadoop/用户下简历Hadoop,Java目录三
#mkdir Hadoop
将编译好的hadoop2.2.0和jdk包上传到各个节点(node2-4不需要上传hadoop)
2.配置ssh环境(hadoop用户下)
(1)hadoop下在/home/hadoop目录下执行ssh-keygen -t dsa命令,一路enter (2)hadoop下进入到.ssh目录下(cd /hadoop/.ssh),执行cp id_dsa.pub authorized_keys 的命令(所有节点执行相同命令)菜单 此步骤不需要
(3)修改hosts(vi /etc/hosts),(所有节点执行相同命令)如下图所示:

(4)hadoop用户下node1的id_dsa.pub(.ssh目录下)拷贝到hadoop@node1,node2,node3 。
#ssh-copy-id -i id_dsa.pub hadoop@node*(*代表1,2,3,4)(过程中一直enter) 测试:#ssh node*(过程中需要输入一次密码)
Master(NameNode | JobTracker)作为客户端,要实现无密码公钥认证,连接到服务器Salve(DataNode | Tasktracker)上时,需要在Master上生成一个密钥对,包括一个公钥和一个私钥,而后将公钥复制到所有的Slave上。当Master通过SSH连接Salve时,Salve就会生成一个随机数并用Master的公钥对随机数进行加密,并发送给Master。Master收到加密数之后再用私钥解密,并将解密数回传给Slave,Slave确认解密数无误之后就允许Master进行连接了。这就是一个公钥认证过程,其间不需要用户手工输入密码。重要过程是将客户端Master复制到Slave上
hadoop 集群部署 1) 安装 jdk 下载 jdk-6u21-linux-i586.bin 然后修改/etc/profile: export JAVA_HOME=/usr/local/jdk export CLASSPATH=.:$JAVA_HOME/lib...
hadoop集群部署-笔记_计算机软件及应用_IT/计算机_专业资料。hadoop集群部署、hive部署、habase部署的学习笔记hadoop 集群部署 1) 安装 jdk 下载 jdk-6u21-linux-...
添加路径 修改/etc/profile 添加: export HADOOP_HOME=/home/hadoop/hdp export PATH=$HADOOP_HOME/bin:$PATH 至此集群配置完成,将 hdp 文件夹复制到每个 ...
Hadoop集群配置_IT/计算机_专业资料。Hadoop 集群配置 1 准备工作 1.1 配置主机名修改每台服务器上的/etc/hosts 文件,添加主机名配置。 192.168.0.75 master...
Hadoop集群配置步骤_电脑基础知识_IT/计算机_专业资料。详细介绍hadoop集群配置步骤Hadoop 集群配置步骤 一、规划拓扑一台主服务器(masters) :运行 NameNode,Job...
hadoop集群配置文档_互联网_IT/计算机_专业资料 暂无评价0人阅读0次下载举报文档 hadoop集群配置文档_互联网_IT/计算机_专业资料。hadoop集群配置文档...
Hadoop集群部署手册_计算机软件及应用_IT/计算机_专业资料。Hadoop集群搭建生产环境的详细步骤描述和参数配置介绍四、Hadoop 集群部署 4.1 获取 Hadoop 安装包登陆 ...
hadoop集群搭建配置_计算机软件及应用_IT/计算机_专业资料。hadoop集群搭建配置hadoop 安装配置 (2012-6-9) 分类: 分布式 hadoop 安装配置 系统环境 redhat ...
CentOS的Hadoop集群配置_IT/计算机_专业资料。CentOS 的 Hadoop 集群配置参考资料: http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-sing...
Hadoop 集群安装详细步骤Hadoop 安装配置文章分类:综合技术 Hadoop 集群安装首先我们统一一下定义,在这里所提到的 Hadoop 是指 Hadoop Common,主 要提供 DFS(分布式...
热门文档