文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > hadoop基本流程与mapReduce应用开发
侵权投诉

hadoop基本流程与mapReduce应用开发

hadoop的基本流程与MapReduce应用开发,可以快速的熟悉hadoop的基本知识与MapR educe开发

Hadoop基本流程与MapReduce应用开发

Hadoop

随着业务的不断发展,广告的大数据量的特点不断体现出来。因此适合云梯的使用场景越来越多。云梯可以用来处理广告模型转换,日志分析等GB,TB级以上数据应用的问题。

上一篇分享介绍了Hadoop的本地环境搭建。这篇分享介绍下mapReduce程序的开发流程。作为想要,需要使用云梯的同学的一道开胃菜。

先抛开Hadoop不谈,试想我们有一个分析系统每天产生的日志的需求,最初我们可能有一个单机单线程的实现,随着使用人数的增多,业务的日趋复杂,每天产生的日志量增大,我们开始考虑多线程多任务分解的模式来处理日志。然而当产生的日志增加到TB级时,单台服务器已经无法满足我们的需求,这时需要的就是一个能够协同工作,并发执行的分布式系统,而作为被使用最广泛的分布式系统,Hadoop能够帮助我们轻松的编写原本困难的分布式程序。

Hadoop是apache的顶级开源项目。实现了基于mapReduce的计算框架,Hadoop的核心设计思想就是 “移动计算能力的代价要小于移动数据的代价”,随着技术的不断进步,CPU的性能飞速提高,但磁盘的寻址时间和宽带的传输速率却没有指数级的提高。因此Hadoop和之前大多数的分布式系统最大的不同就是“不共享数据”,Hadoop并不从数据中心获取数据进行计算,而是在每个计算节点(DataNode)的本地存储数据进行计算,再将计算的结果进行归并。整个过程就是一个MapReduce的任务,其中的Map代表着分解。Reduce代表着归并。

HDFS

HDFS(Hadoop Distributed File System)是分布式计算的存储基石,具有以下几个特点:

1. 根据CAP原则,具有最终一致性。

2. 整个集群具有单一的命名空间。

3. 文件被分割在多个数据节点上。

HDFS集群结构包括:NameNode,DataNode,Client。NameNode负责管理HDFS的集群配置和命令空间信息,NameNode节点将文件系统的Meta-data存储在内存中,管理文件信息及存储文件的DataNode信息。

Client端发送请求,数据通过NameNode(一般2个,一主一备)被分割到各个DataNode上进行计算。NameNode节点通过DataNode节点发送的心跳得知

第1页

热门文档

相关文档

  • hadoop中mapreduce部分执行流程

    hadoop中mapreduce部分执行流程_计算机软件及应用_IT/计算机_专业资料。Hadoop 包括 hdfs 与 mapreduce 两部分,在试用期期间我主要看了 mapreduce 部分,即 hadoop...

  • Hadoop应用开发实战25 - MapReduce多语言编程(4)

    Hadoop应用开发实战25 - MapReduce多语言编程(4)_工学_高等教育_教育专区。...实例3:用PYTHON实现查找最高温度 Streaming程序运行方式 实例2:用PHP实现Word...

  • Hadoop应用开发实战22 - MapReduce多语言编程(1)

    Hadoop应用开发实战22 - MapReduce多语言编程(1)_工学_高等教育_教育专区。...WordCount问题—程序运行 WordCount问题—程序运行 欢迎访问我们的官方网站 www.i...

  • Hadoop应用开发实战24 - MapReduce多语言编程(3)

    Hadoop应用开发实战24 - MapReduce多语言编程(3)_理学_高等教育_教育专区。...编译程序,生成可执行文件 $ g++ -o wc_reducer reducer.cpp $ g++ -o ...

  • 基于Hadoop MapReduce模型的应用研究

    本文分析和研究_『基于 Hadoop的MapReduce编程模型的思想、计算流程和应用 MapReduce模型实现分布式并行算法的方法,并设计了 一套分布式并行随机数发生器算法验证用Map...

  • Hadoop MapReduce开发最佳实践

    Hadoop MapReduce开发最佳实践_计算机软件及应用_IT/计算机_专业资料。前言本文...下面是我的源码使用实践,步骤有点麻烦不过配置一次就好: 1. Eclipse 中创建 ...

  • 基于Hadoop MapReduce模型的应用研究

    探讨了来自Apache开源的分布式计算平台Hadoop的核心设计MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法。隐藏>> Sotr cnlg fwaeTehooy ...

  • hadoop_mapreduce基本框架

    hadoop_mapreduce基本框架_计算机软件及应用_IT/计算机_专业资料。hadoop汇报的...Hadoop HDFS基本操作 ? 封装HDFS操作接口 ? 编写网盘程序 ? MR程序编写与提交...

  • eclipse下开发mapreduce

    eclipse下开发mapreduce_计算机软件及应用_IT/计算机_专业资料。在eclipse下配置hadoop的开发环境Mapreduce 程序设计报告 姓名: 学号: 题目: Eclipse 下开发 Map...

  • 在hadoop上运行常用MapReduce程序命令

    在hadoop上运行常用MapReduce程序命令_计算机软件及应用_IT/计算机_专业资料。在hadoop上运行常用MapReduce程序命令在hadoop上运行MapReduce程序命令 java 源码处理:...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email