文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 计算机软件及应用 > CDH4.1.2集群安装配置详细过程
侵权投诉

CDH4.1.2集群安装配置详细过程

CDH 是Cloudera 完全开源的Hadoop 分布式系统架构,为了满足企业的需求而特别构建的系统。即一个开源的企业级分布式存储系统。全称:Cloudera Hadoop。 它是在Apache Hadoop基础上打入了很多patch。使之性能更好,更加满足生产环境。 CDH4.1.2使用的是apache 的hadoop 2.0版本,与之前的稳定的hadoop-1.x相比,Apache Hadoop 2.x有较为显著的变化。本文是亲自安装搭建后的总结。

CDH4.1.2集群安装配置详细过程

CDH4.1.2

CDH 是Cloudera 完全开源的Hadoop 分布式系统架构,为了满足企业的需求而特别构建的系统。即一个开源的企业级分布式存储系统。全称:Cloudera Hadoop。

它是在Apache Hadoop基础上打入了很多patch。使之性能更好,更加满足生产环境。

CDH4.1.2使用的是apache 的hadoop 2.0版本,与之前的稳定的hadoop-1.x相比,Apache Hadoop 2.x有较为显著的变化。

Hadoop介绍

Hadoop是apache 的开源项目,开发的主要目的是为了构建可靠、可拓展、稳定的分布式的系统,hadoop 是一系列的子工程的总和,其中包含: 1. hadoop common:为其他项目提供基础设施 2. HDFS:分布式的文件存储系统

3. MapReduce:A software framework for distributed processing of large data sets on compute clusters,一个简化分布式编程的框架。

4. 其他工程包含:Avro(序列化系统),Cassandra(数据库项目)等。

Hadoop以 Hadoop 分布式文件系统HDFS (Hadoop Distributed File System)和MapReduce(Google MapReduce的开源实现)为核心,Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于 Hadoop的集群来讲,可以分成两大类角色:Master和Salve。一个 HDFS 集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件系统的访问操作;集群中的 DataNode 管理存储的数据。MapReduce框架是由一个单独运行在主节点上的 JobTracker和运行在每个集群从节点上的TaskTracker 共同组成的。主节点(NameNode)节点负责调度构成一个作业的所有任务,这些任务分布在不同的从节点上,主节点监控它们的执行情况,并且重新执行之前的失败任务;从节点(DataNode)仅负责由主节点指派的任务,当一个 Job 被提交时,JobTracker 接收到提交作业和配置信息之后,就会将配置信息等分发给从节点,同时调度任务并监控TaskTracker的执行。 从上面的介绍可以看出,HDFS 和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统,MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持,MapReduce 在HDFS 的基础上实现了任务的分发、跟踪、执行等工作,并收集结果,二者相互作用,完成了Hadoop 分布式集群的主要任务。

第1页

你可能喜欢

热门文档

相关文档

  • CDH集群部署手册(外)

    $sudo cd /var/www/html $sudo ln -s /repos repos 第 6 / 30 页 CDH 集群部署手册 五、 MySQL 数据库的安装与配置 1. MYSQL 数据库安装用途:用于存放...

  • WAS6.1安装与集群配置详解

    WAS6.1安装与集群配置详解_计算机软件及应用_IT/计算机_专业资料。该文档提供了WAS6.1的软件安装、集群创建及应用程序部署等过程的详细说明...

  • Windows集群配置过程

    Windows集群配置过程_IT/计算机_专业资料。。。集群是在一组计算机上运行相同的...关于 Windows 2003 操作系统的具体安装过程,这里不再详述,大家可以参考 Microsoft...

  • WAS7集群安装部署配置手册

    (2)安装步骤指南 安装部署 CBJUP 应用系统到 WAS7 集群上。 通过对安装部署 ...具体配置信息见下表: IP 21.244.7.179 用途 部署一个 IHS, 创建一个 Dmgr...

  • 参考-WebLogic9和10集群安装配置过程(非常实用,适合新手)

    参考-WebLogic9和10集群安装配置过程(非常实用,适合新手)_IT/计算机_专业资料...更详细的配置,参考 WebLogic 管理员手册。 §1.5.3 启动受管服务器的节点...

  • Hadoop集群安装详细步骤

    Hadoop 集群安装详细步骤

  • weblogic集群配置方法-具体实施步骤1

    weblogic集群配置方法-具体实施步骤1_IT/计算机_专业资料。weblogic集群配置...案例安装 weblogic 1.1 准备安装程序 server920_linux32.bin 1.2 创建用户和...

  • Windows2008R2+MSCS集群配置

    集群名称:OaDbCluster 集群 IP:168.168.252.82 ⑴1 号机 zsyyoa83app ①详细...“DNS”管理程序,节点 1 安装配置“Activate Direct ory”和“DNS”后的 DNS ...

  • Sametime集群环境安装配置手册

    文档名称安装部署手册 版本号 V1.0 最近更新日期 .... 配置 Sametime Community Server 集群环境?......6.1.12 确认部署计划信息 图 77 此界面列出详细部署...

  • Tomcat+Apache集群安装指南

    概述本文为您讲述了如何在 Windows 或 Linux 下进行 Tomcat 集群的安装配置。 ...v 表示 在解压过程中显示详细信息,f 表示要解压的文档,后面必须紧接要解压的...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email