Hadoop快速入门
目的
这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会,比如在HDFS上运行示例程序或简单作业等。
先决条件
支持平台
GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。
Win32平台是作为开发平台支持的。由于分布式操作尚未在Win32平台上充分测试,所以还不作为一个生产平台被支持。
所需软件
Linux和Windows所需软件包括:
1. JavaTM1.5.x,必须安装,建议选择Sun公司发行的Java版本。
2. ssh 必须安装并且保证 sshd一直运行,以便用Hadoop 脚本管理远端Hadoop守护进程。
Windows下的附加软件需求
1. - 提供上述软件之外的shell支持。
安装软件
如果你的集群尚未安装所需软件,你得首先安装它们。
以Ubuntu Linux为例:
$ sudo apt-get install ssh
$ sudo apt-get install rsync
在Windows平台上,如果安装cygwin时未安装全部所需软件,则需启动cyqwin安装管理器安装如下软件包:
openssh - Net 类
Hadoop 快速入门 ? ? ? ? ? ? ? 目的 先决条件 o 支持平台 o 所需软件 o 安装软件 下载 运行 Hadoop 集群的准备工作 单机模式的操作方法 伪分布式模式的...
Hadoop快速入门_IT/计算机_专业资料。Hadoop 快速入门 ? ? 目的 先决条件 o o o ? ? ? ? 下载 支持平台 所需软件 安装软件 运行 Hadoop 集群的准备工作 单...
? ? ? 项目 维基 Hadoop 0.18 文档 Last Published: 07/01/2009 00:38:20 文档 概述 快速入门 集群搭建 HDFS 构架设计 HDFS 使用指南 HDFS 权限指南 HDFS...
001.Hadoop快速入门_互联网_IT/计算机_专业资料 暂无评价0人阅读0次下载举报文档 001.Hadoop快速入门_互联网_IT/计算机_专业资料。Hadoop快速入门...
Hadoop 快速入门一、Map-Reduce 的逻辑过程假设我们需要处理一批有关天气的数据,其格式如下: ? ? ? 按照 ASCII 码存储,每行一条记录 每一行字符从 0 开始计数...
Hadoop快速入门_IT/计算机_专业资料。Hadoop快速入门,包括伪分布式安装与完全分布式安装Copyright ? 2007 The Apache Software Foundation. All rights reserved. ? ? ...
hadoop集群配置 34页 免费 hadoop学习总结 32页 免费 51CTO下载-Hadoop_MapRedu... 40页 1财富值 hadoop 14页 免费 Hadoop快速入门 4页 2财富值搜...
Hadoop快速入门v1.1_计算机硬件及网络_IT/计算机_专业资料。本人原创,为公司内部做培训的ppt,面向hadoop入门者,普及从1.0到2.0的相关核心知识。?...
Hadhoop入门Copyright ? 2007 The Apache Software Foundation. All rights reserved. ? ? 1. 2. 1. ? Page 2 Copyright ...
快速入门 18页 2财富值 快速入门 17页 免费 快速入门 94页 免费 c#快速入门 44页 1财富值 第1章 快速入门 48页 1财富值 数独快速入门 12页 1财富值 超快...
热门文档