数据存储管理 C++ java hadoop HDFS
基于Hadoop海量数据处理平台的性能研究
摘要:面对互联网数据的爆炸性增长,传统的单机处理方式已慢慢落伍,新式的分布并行处理日益成熟,并替代原有的处理方式。时下有关数据的海量处理和存储成为研究的热潮。在这其中,Hadoop平台脱颖而出,成为了分布式处理的宠儿。本文介绍了HDFS以及MapReduce两大核心技术,并搭建了Hadoop海量数据处理原型平台。
关键词:分布式处理 Hadoop HDFS MapReduce
Research on performance of Hadoop
platform
Abstract: Faced with the explosive growth of Internet data, the traditional stand--- alone approach has been slowly falling behind ,and the new form distributed parallel processing has become more sophisticated which will replace the original approach. Nowadays, processing and storage of massive data has become a hot research. Hadoop platform stands out and become an most important research direction of distributed processing.The aticle introduce the two core technology of HDFS and MapReduce ,and set up a wide data processing platform.
Key word:distributed processing Hadoop HDFS MapReduce
1 概述
Apache Nutch是Hadoop的源头,该项目起始于2002年,是Apache Lucene的子项目之一。至2004年,Google的OSDI上公开发表了题为“MapReduce:simplified data processing on large clusters”的论文,受到启发的Doug C等人开始实现MapReduce计算框架并与NDFS结合支持Nutch的主要算法。至2006年逐渐成为一套完整而独立的软件,起名为Hadooop。2008年初,Hadoop成为Apache的顶级项目,应用到除Yahoo!以外的很多互联网公司。
Hadoop技术已经在互联网领域得到广泛的应用,同时也得到研究界的普遍关注。因为互联网公司往往需要对其存储的海量数据进行处理,而Hadoop就是被设计用来处理海量数据的。Hadoop典型的应用包括:在国外Yahoo!使用Hadoop支持广告系统并处理网页搜索,Facebook使用Hadoop实现日志的拷贝以及Web日志的挖掘与统计;在国内阿里巴巴使用Hadoop来实现商业数据的排
Hadoop平台的性能优化研究柬亚建,黄群民,类高晨,赵铁柱(华南理工大学广东省计算机网络重点实验室,广州510640) 囊蔓:随着基于MapReduce模型的应用程序越来越多,Hadoop...
Hadoop平台的性能优化研究_IT/计算机_专业资料 暂无评价0人阅读0次下载举报文档 Hadoop平台的性能优化研究_IT/计算机_专业资料。云计算相关论文...
Hadoop平台的性能优化研究柬亚建,黄群民,类高晨,赵铁柱(华南理工大学广东省计算机网络重点实验室,广州510640) 囊蔓:随着基于MapReduce模型的应用程序越来越多,Hadoop...
基于Hadoop的研究及性能分析_计算机软件及应用_IT/计算机_专业资料。基于 Hadoop ...Hadoop 作为一个开源的软件平台使得编写和运行用于处理海量 数据的应用程序更加...
基于云计算平台Hadoop的并行kmeans聚类算法设计研究 (1)_机械/仪表_工程科技_专业...所谓聚类。就 设计出高效的并行聚类算法,来提高聚类算法处理海量数据 时的性能。...
+86-551-5690963 5690964 Hadoop 集群性能优化技术研究辛大欣,刘飞(西安工业大学...的开源 JAVA 项目,它是一个 分布式的具有可靠性和可扩展 性的存储与计算平台...
Hadoop集群性能优化技术研究_专业资料。Hadoop技术已经在互联网领域得到广泛的应用,同时也得到了学术界的普遍关注。该文介绍了Hadoop作为基础数据处理平台仍然存在的问题...
百度文库_文档分享平台 新闻网页贴吧知道音乐图片视频地图百科文库 ...Hadoop中大量小文件性能优化方法研究_互联网_IT/计算机_专业资料。 今日...
+86-551-5690963 5690964 Hadoop 集群性能优化技术研究辛大欣 ,刘飞( 西安工业...JAVA 项目 , 它是一个 分布式的具有可靠性和可扩展 性的存储与计算平台 。 ...
阿里集团-海量数据-罗李 (淘宝花名:鬼厉) 2008年加入阿里集团,先后在B2B,阿里云和集团技术共 享平台工作,一直从事Hadoop相关的分布式计算研究,作 为主要开发和运维...
热门文档