Hadoop开发环境搭建(Win8 + Eclipse + Linux)
Hadoop开发环境搭建(Win8+Linux)
常见的Hadoop开发环境架构有以下三种:
1、 Eclipse与Hadoop集群在同一台Windows机器上。 2、 Eclipse与Hadoop集群在同一台Linux机器上。
3、 Eclipse在Windows上,Hadoop集群在远程Linux机器上。
点评:
第一种架构:必须安装cygwin,Hadoop对Windows的支持有限,在Windows上部署hadoop会出现相当多诡异的问题。
第二种架构:Hadoop机器运行在Linux上完全没有问题,但是有大部分的开发者不习惯在Linux上做开发。这种架构适合习惯使用Linux的开发者。
第三种架构:Hadoop集群部署在Linux上,保证了稳定性,Eclipse在Windows上,符合大部分开发者的习惯。
本文主要介绍第三种Hadoop开发环境架构的搭建方法。
Hadoop开发环境的搭建分为两大块:Hadoop集群搭建、Eclipse环境搭建。其中Hadoop集群搭建可参考官方文档,本文主要讲解Eclipse环境搭建(如何在Eclipse中查看和操作HDFS、如何在Eclipse中执行MapReduce作业)。
搭建步骤:
1、 搭建Hadoop集群(Linux、JDK6、Hadoop-1.1.2) 2、 在Windows上安装JDK6+
3、 在Windows上安装Eclipse3.3+
4、 在Eclipse上安装hadoop-eclipse-plugin-1.1.2.jar插件(如果没有,则需自行编译源码)
5、 在Eclipse上配置Map/Reduce Location
搭建Hadoop集群
此步骤可参考Hadoop官方文档
在Windows上安装JDK
此步骤可参考官方文档
在Window上安装Eclipse
Hadoop搭建与Eclipse开发环境设置_计算机软件及应用_IT/计算机_专业资料。Hadoop搭建与Eclipse开发环境设置www.linuxidc.com hadoop 搭建与 eclipse 开发环境设置――...
2.路径应 该是 linux 风格的。打开后将 export 前面的#注释符去掉,路径为/... Hadoop开发环境搭建(Win... 暂无评价 12页 免费 hadoop搭建与eclipse开发......
3.1 下载安装 jdk1.6 安装版本是:jdk-6u26-linux-i586.bin,我把它安装... win7+eclipse+hadoop开发... 暂无评价 8页 免费 Hadoop开发环境搭建(Win......
windows下搭建hadoop开发环境(Eclipse)_计算机软件及...因此,操作系统影响 不大,只是需要剥去 linux 这个... Hadoop开发环境搭建(Win... 暂无评价 12页 免费...
如果本地开发环境的操作系统是 Windows,需要先安装 Cygwin,如果是 Linux 则不需... 基于Eclipse的Hadoop开发... 6页 免费 Hadoop开发环境搭建(Win... 暂无评价 ...
hadoop开发环境搭建教程:利用Cloudera实现Hadoop_计算机软件及应用_IT/计算机_专业... hadoop开发环境搭建 8页 免费 hadoop搭建与eclipse开发... 19页 1下载券...
Windows 下 eclipse 开发环境配置 1.1 安装开发 hadoop 插件将 hadoop 安装包 hadoop\contrib\eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jar 拷贝到 eclipse ...
hadoop开发环境搭建 hadoop开发案例04.CDH4.1集群搭建2_计算机软件及应用_IT/计算机_专业资料。hadoop开发环境搭建 hadoop开发案例04.CDH4.1集群搭建2,由北风网...
hadoop开发环境搭建_计算机软件及应用_IT/计算机_专业资料。Hadoop 分布式的好处...50030/ 配置 eclipse: 1 将插件 hadoop-eclipse-plugin-0.20.3-SNAPSHOT 放入...
基于Eclipse的Hadoop开发环境配置方法_工学_高等教育_教育专区。本文主要介绍了基于Eclipse的Hadoop开发环境配置方法。中国人民大学 信息学院 孙文奇 基于 Eclipse 的 ...
热门文档