文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 计算机软件及应用 > Hadoop学习总结
侵权投诉

Hadoop学习总结

Hadoop学习总结及应用思考

Hadoop学习总结

一、 背景

随着信息时代脚步的加快,各类数据信息越来越多,海量数据的来源列举如下: ◎纽约证券交易所每天产生1TB的交易数据。

◎Facebook存储着约100亿张照片,约1PB数据。

◎Ancestry.com,一个家谱网站,存储着2.5PB数据。

◎The Internet Archive(互联网档案馆)存储着约2PB的数据,并以每月至少20TB的速度增长。

◎瑞士日内瓦附近的大型强子对撞机每年产生约15PB数据。

面对海量数据,如何存储和分析,从中获取有价值信息,变得十分重要。Hadoop正是在这样的背景下产生的,它提供了一个可靠的共享存储和分析系统。由于具备低成本和前所未有的高扩展性,Hadoop已被公认为是新一代的大数据处理平台,就像30年前的SQL出现一样,Hadoop正带来了新一轮的数据革命。

二、Hadoop相关概念

1、Hadoop简述

Hadoop是Apache的一个分布式计算开源框架,它可以运行于大中型集群的廉价硬件设备上,为应用程序提供了一组稳定可靠的接口。同时它是Google集群系统的一个开源项目总称。底层是Google文件系统(GFS)。

基于java语言构建的Hadoop框架实际上一种分布式处理大数据平台,其包括软件和众多子项目。在近十年中Hadoop已成为大数据革命的中心。

2、其子项目简述:

◎MapReduce 分布式数据处理模型和执行环境,运行于大型商用机集群。

◎HDFS 分布式文件系统,运行于大型商用机集群。

◎Pig 一种数据流语言和运行环境,用以检索非常大的数据集。Pig运行在MapReduce和HDFS的集群上。

◎Hive 一个分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据,并提供基于SQL的查询语言(由运行时引擎翻译成MapReduce作业)用以查询数据。

◎ZooKeeper 一个分布式、可用性高的协调服务。ZooKeeper提供分布式锁之类的基本服务用于构建分布式应用。

第1页

你可能喜欢

  • hadoop开发
  • 云平台解决方案
  • hadoop入门
  • 学习心得
  • hadoop部署
  • hadoop集群
  • 个人学习总结

热门文档

相关文档

  • Hadoop学习总结

    Hadoop学习总结_计算机/互联网_科技_PPT专区。Hadoop 一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用...

  • hadoop学习总结

    hadoop学习总结_计算机软件及应用_IT/计算机_专业资料 暂无评价0人阅读0次下载举报文档 hadoop学习总结_计算机软件及应用_IT/计算机_专业资料。hadoop学习总结...

  • 13.hadoop学习总结

    13.hadoop学习总结_计算机软件及应用_IT/计算机_专业资料 暂无评价0人阅读0次下载举报文档 13.hadoop学习总结_计算机软件及应用_IT/计算机_专业资料。---分布式...

  • Hadoop学习总结之一:HDFS简介

    Hadoop学习总结之二:HD... Hadoop学习总结之三:Ma... Hadoop学习总结之四:...? ? HDFS(Hadoop Distributed File System)默认的最基本的存储单位是 64M 的...

  • Hadoop学习总结之五:Hadoop的运行痕迹

    Hadoop学习总结之五:Hadoop的运行痕迹_IT/计算机_专业资料。Hadoop学习总结之五:Hadoop的运行痕迹在使用 hadoop 的时候,可能遇到各种各样的问题,然而由于 hadoop 的...

  • Hadoop学习总结之三:Map-Reduce入门

    Hadoop学习总结之三:Map-Reduce入门_IT/计算机_专业资料。Hadoop学习总结之三:Map-Reduce入门1、Map-Reduce 的逻辑过程 、假设我们需要处理一批有关天气的数据,其...

  • hadoop学习心得

    it is possible to control this value by setting various Hadoop properties. ... hadoop配置 9页 免费 喜欢此文档的还喜欢 hadoop学习总结 32页 1下载券 ...

  • Hadoop学习总结之二:HDFS读写过程解析

    Hadoop学习总结之一:HD... Hadoop学习总结之三:Ma... Hadoop学习总结之四:Ma... Hadoop学习总结之五:Ha...1/2 相关文档推荐...

  • Hadoop学习总结之四:Map-Reduce的过程解析

    Hadoop学习总结之四:Map-Reduce的过程解析_IT/计算机_专业资料。Map-Reduce的过程解析一、客户端 Map-Reduce 的过程首先是由客户端提交一个任务开始的。 提交任务...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email