文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 基于Hadoop构建云计算平台
侵权投诉

基于Hadoop构建云计算平台

Hadoop MapReduce

使用Hadoop构建云计算平台

1、Hadoop架构

Hadoop的核心框架包括两个部分:HDFS 和Mapreduce;HDFS(即Hadoop Distributed System的缩写)是分布式计算的基石,而Mapreduce是任务的分解和结果的汇总。简单的说,Map就是将一个任务分解成 为多个任务,而Reduce就是将分解后多任务处理的结果汇总起来得出最后的结果;HDFS是一个与其它文件系统类似的,对于整个集群有单一的命名空间,文件被分割为多块分配存储到数据节点上的一个系统。

2、Hadoop的优点

2.1可扩展:不论是存储的可扩展性还是计算的可扩展都是Hadoop的设计根本,Hadoop具有很强的扩展性;

2.2经济: 框架可以运行在任何普通的PC机上,我在这边采用的是几天快要或者已经被淘汰的PC机搭建。

2.3可靠: 分布式文件系统的备份恢复机制以及Mapreduce的任务监控保证了分布式处理的可靠性。

2.4高效: 分布式文件系统的高效数据交互实现以及Mapreduce结合Local Data处理的模式,为高效处理海量的信息作了基础准备。

3、Hadoop单机模式的操作方法

默认情况下,Hadoop被配置成以非分布式模式运行的一个独立的java进程。我们先来了解单机模式的情况。这对后面的调试非常有帮助。

第1页

你可能喜欢

  • 云计算资料
  • 云计算系统
  • 云计算技术
  • 云计算方案
  • 云计算报告
  • 云计算存储
  • Hadoop搭建

热门文档

相关文档

  • Hadoop云计算平台搭建最详细过程(共22页)

    Hadoop云计算平台搭建最详细过程(共22页)_计算机软件及应用_IT/计算机_专业资料。本文档主要讲解了Hadoop的安装配置过程,及其相关项目的配置,如Hbase, Pig, Hive,...

  • 基于Hadoop建立云计算系统

    本文分析了云计算的特征和 Hadoop 的作用 地位. 针对 Hadoop 这样一个在集群上运行大型数据库处理应用程序的开放式源代码框架进行了 云计算平台的实现, 并进行...

  • 基于Hadoop云计算平台设计开发论文

    基于Hadoop云计算平台设计开发论文_计算机软件及应用_IT/计算机_专业资料。基于 Hadoop 的云计算平台设计与开发 摘要:随着北部湾海洋生态资源的开发和利用,海量海洋...

  • 【论文】基于Hadoop建立云计算系统

    的一个新概念,本文分析了云计算的特征和Hadoop的作用地位.针对Hadoop这样一个在集群上运行大型数据库处理应用程序的开放式源代码框架进行了云计算平台的实现,并进行...

  • 基于Hadoop的云计算平台搭建 毕业设计翻译译文

    本科毕业设计(翻译) 题目: 基于 Hadoop 的云计算平台搭建 学生姓名 教学院系 专业年级 指导教师 单位 学 号 计算机科学学院 职 称 计算机科学学院 1 MapReduce:...

  • Hadoop构建云计算平台

    Hadoop构建云计算平台_IT/计算机_专业资料。使用Hadoop构建云计算平台 梁意,南京信息工程大学 南京信息工程大学 梁意 1 Hadoop架构 ? ? ? ? 核心框架:HDFS和...

  • Hadoop云计算平台搭建方案2.1

    Hadoop云计算平台搭建方案2.1_计算机软件及应用_IT/计算机_专业资料。Hadoop 云计算平台搭建方案一、平台搭建概述 1.1 总体思路针对于电网企业在营销服务领域展开...

  • 基于Hadoop云计算平台的海量文本处理研究

    基于 Hadoop 云计算平台 , 建立 HDFS 分布式文件系统存储 海量文本数据集,通过文本词频利用 MapReduce 原理建立分布式 索引 , 以分布式数据库 HBase 存储关键词...

  • 基于Hadoop的云计算试验平台搭建研究

    基于Hadoop的云计算试验平台搭建研究_农学_农林牧渔_专业资料 暂无评价0人阅读0次下载举报文档 基于Hadoop的云计算试验平台搭建研究_农学_农林牧渔_专业资料。第...

  • 【论文】基于Hadoop的云计算平台设计与开发

    本文提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的云计算平台...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email