文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 计算机软件及应用 > hadoop集群部署
侵权投诉

hadoop集群部署

hadoop环境部署

一 Hadoop2.2.0的安装

root(123456) hadoop(hadoop)

1.安装环境:

集群:本次安装主要使用了4台安装了centos6.4 的服务器。 222.18.159.122 node136 (预备作为master节点NameNode) 222.18.159.123 node2 (slave节点DataNode) 222.18.159.125 node3 (slave节点DataNote) 222.18.159.126 node4 (slave节点DataNote) 同时在每个机器上建立相同的用户和节点 在每个机器上均建立hadoop用户(密码)(#useradd hadoop, #passwd hadoop),并将用户加入root组(usermod –g root hadoop)

且在/home/hadoop/用户下简历Hadoop,Java目录三

#mkdir Hadoop

将编译好的hadoop2.2.0和jdk包上传到各个节点(node2-4不需要上传hadoop)

2.配置ssh环境(hadoop用户下)

(1)hadoop下在/home/hadoop目录下执行ssh-keygen -t dsa命令,一路enter (2)hadoop下进入到.ssh目录下(cd /hadoop/.ssh),执行cp id_dsa.pub authorized_keys 的命令(所有节点执行相同命令)菜单 此步骤不需要

(3)修改hosts(vi /etc/hosts),(所有节点执行相同命令)如下图所示:

hadoop集群部署

(4)hadoop用户下node1的id_dsa.pub(.ssh目录下)拷贝到hadoop@node1,node2,node3 。

#ssh-copy-id -i id_dsa.pub hadoop@node*(*代表1,2,3,4)(过程中一直enter) 测试:#ssh node*(过程中需要输入一次密码)

Master(NameNode | JobTracker)作为客户端,要实现无密码公钥认证,连接到服务器Salve(DataNode | Tasktracker)上时,需要在Master上生成一个密钥对,包括一个公钥和一个私钥,而后将公钥复制到所有的Slave上。当Master通过SSH连接Salve时,Salve就会生成一个随机数并用Master的公钥对随机数进行加密,并发送给Master。Master收到加密数之后再用私钥解密,并将解密数回传给Slave,Slave确认解密数无误之后就允许Master进行连接了。这就是一个公钥认证过程,其间不需要用户手工输入密码。重要过程是将客户端Master复制到Slave上

第1页

你可能喜欢

  • hadoop集群
  • weblogic集群部署
  • activiti集群部署
  • oracle集群
  • 集群部署for+websphere

热门文档

相关文档

  • hadoop集群部署-笔记

    hadoop 集群部署 1) 安装 jdk 下载 jdk-6u21-linux-i586.bin 然后修改/etc/profile: export JAVA_HOME=/usr/local/jdk export CLASSPATH=.:$JAVA_HOME/lib...

  • hadoop集群部署-笔记

    hadoop集群部署-笔记_计算机软件及应用_IT/计算机_专业资料。hadoop集群部署、hive部署、habase部署的学习笔记hadoop 集群部署 1) 安装 jdk 下载 jdk-6u21-linux-...

  • Hadoop集群部署

    添加路径 修改/etc/profile 添加: export HADOOP_HOME=/home/hadoop/hdp export PATH=$HADOOP_HOME/bin:$PATH 至此集群配置完成,将 hdp 文件夹复制到每个 ...

  • Hadoop集群配置

    Hadoop集群配置_IT/计算机_专业资料。Hadoop 集群配置 1 准备工作 1.1 配置主机名修改每台服务器上的/etc/hosts 文件,添加主机名配置。 192.168.0.75 master...

  • Hadoop集群配置步骤

    Hadoop集群配置步骤_电脑基础知识_IT/计算机_专业资料。详细介绍hadoop集群配置步骤Hadoop 集群配置步骤 一、规划拓扑一台主服务器(masters) :运行 NameNode,Job...

  • hadoop集群配置文档

    hadoop集群配置文档_互联网_IT/计算机_专业资料 暂无评价0人阅读0次下载举报文档 hadoop集群配置文档_互联网_IT/计算机_专业资料。hadoop集群配置文档...

  • Hadoop集群部署手册

    Hadoop集群部署手册_计算机软件及应用_IT/计算机_专业资料。Hadoop集群搭建生产环境的详细步骤描述和参数配置介绍四、Hadoop 集群部署 4.1 获取 Hadoop 安装包登陆 ...

  • hadoop集群搭建配置

    hadoop集群搭建配置_计算机软件及应用_IT/计算机_专业资料。hadoop集群搭建配置hadoop 安装配置 (2012-6-9) 分类: 分布式 hadoop 安装配置 系统环境 redhat ...

  • CentOS的Hadoop集群配置

    CentOS的Hadoop集群配置_IT/计算机_专业资料。CentOS 的 Hadoop 集群配置参考资料: http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-sing...

  • Hadoop集群安装详细步骤

    Hadoop 集群安装详细步骤Hadoop 安装配置文章分类:综合技术 Hadoop 集群安装首先我们统一一下定义,在这里所提到的 Hadoop 是指 Hadoop Common,主 要提供 DFS(分布式...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email