CDH 是Cloudera 完全开源的Hadoop 分布式系统架构,为了满足企业的需求而特别构建的系统。即一个开源的企业级分布式存储系统。全称:Cloudera Hadoop。 它是在Apache Hadoop基础上打入了很多patch。使之性能更好,更加满足生产环境。 CDH4.1.2使用的是apache 的hadoop 2.0版本,与之前的稳定的hadoop-1.x相比,Apache Hadoop 2.x有较为显著的变化。本文是亲自安装搭建后的总结。
CDH4.1.2集群安装配置详细过程
CDH4.1.2
CDH 是Cloudera 完全开源的Hadoop 分布式系统架构,为了满足企业的需求而特别构建的系统。即一个开源的企业级分布式存储系统。全称:Cloudera Hadoop。
它是在Apache Hadoop基础上打入了很多patch。使之性能更好,更加满足生产环境。
CDH4.1.2使用的是apache 的hadoop 2.0版本,与之前的稳定的hadoop-1.x相比,Apache Hadoop 2.x有较为显著的变化。
Hadoop介绍
Hadoop是apache 的开源项目,开发的主要目的是为了构建可靠、可拓展、稳定的分布式的系统,hadoop 是一系列的子工程的总和,其中包含: 1. hadoop common:为其他项目提供基础设施 2. HDFS:分布式的文件存储系统
3. MapReduce:A software framework for distributed processing of large data sets on compute clusters,一个简化分布式编程的框架。
4. 其他工程包含:Avro(序列化系统),Cassandra(数据库项目)等。
Hadoop以 Hadoop 分布式文件系统HDFS (Hadoop Distributed File System)和MapReduce(Google MapReduce的开源实现)为核心,Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于 Hadoop的集群来讲,可以分成两大类角色:Master和Salve。一个 HDFS 集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件系统的访问操作;集群中的 DataNode 管理存储的数据。MapReduce框架是由一个单独运行在主节点上的 JobTracker和运行在每个集群从节点上的TaskTracker 共同组成的。主节点(NameNode)节点负责调度构成一个作业的所有任务,这些任务分布在不同的从节点上,主节点监控它们的执行情况,并且重新执行之前的失败任务;从节点(DataNode)仅负责由主节点指派的任务,当一个 Job 被提交时,JobTracker 接收到提交作业和配置信息之后,就会将配置信息等分发给从节点,同时调度任务并监控TaskTracker的执行。 从上面的介绍可以看出,HDFS 和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统,MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持,MapReduce 在HDFS 的基础上实现了任务的分发、跟踪、执行等工作,并收集结果,二者相互作用,完成了Hadoop 分布式集群的主要任务。
$sudo cd /var/www/html $sudo ln -s /repos repos 第 6 / 30 页 CDH 集群部署手册 五、 MySQL 数据库的安装与配置 1. MYSQL 数据库安装用途:用于存放...
WAS6.1安装与集群配置详解_计算机软件及应用_IT/计算机_专业资料。该文档提供了WAS6.1的软件安装、集群创建及应用程序部署等过程的详细说明...
Windows集群配置过程_IT/计算机_专业资料。。。集群是在一组计算机上运行相同的...关于 Windows 2003 操作系统的具体安装过程,这里不再详述,大家可以参考 Microsoft...
(2)安装步骤指南 安装部署 CBJUP 应用系统到 WAS7 集群上。 通过对安装部署 ...具体配置信息见下表: IP 21.244.7.179 用途 部署一个 IHS, 创建一个 Dmgr...
参考-WebLogic9和10集群安装配置过程(非常实用,适合新手)_IT/计算机_专业资料...更详细的配置,参考 WebLogic 管理员手册。 §1.5.3 启动受管服务器的节点...
Hadoop 集群安装详细步骤
weblogic集群配置方法-具体实施步骤1_IT/计算机_专业资料。weblogic集群配置...案例安装 weblogic 1.1 准备安装程序 server920_linux32.bin 1.2 创建用户和...
集群名称:OaDbCluster 集群 IP:168.168.252.82 ⑴1 号机 zsyyoa83app ①详细...“DNS”管理程序,节点 1 安装配置“Activate Direct ory”和“DNS”后的 DNS ...
文档名称安装部署手册 版本号 V1.0 最近更新日期 .... 配置 Sametime Community Server 集群环境?......6.1.12 确认部署计划信息 图 77 此界面列出详细部署...
概述本文为您讲述了如何在 Windows 或 Linux 下进行 Tomcat 集群的安装配置。 ...v 表示 在解压过程中显示详细信息,f 表示要解压的文档,后面必须紧接要解压的...
热门文档