文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 互联网 > Hadoop集群性能优化技术研究
侵权投诉

Hadoop集群性能优化技术研究

Hadoop集群性能优化技术研究

1009-3044

与技术电脑知识与技术ComputerKnowledgeKnowledgeandandTechnologyTechnology电脑知识No.22,August2011.E-mail:kfyj@cccc.net.cn第7卷第22期(2011年8月)doc.guandang.net集群性能优化技术研究

辛大欣,刘飞

(西安工业大学,陕西西安710032)

摘要:Hadoop技术已经在互联网领域得到广泛的应用,同时也得到了学术界的普遍关注。该文介绍了Hadoop作为基础数据处理平台仍然存在的问题,阐明了Hadoop性能优化技术研究的必然性,并介绍了当前Hadoop优化的三个主要思路:从应用程序角度进行优化、对Hadoop系统参数进行优化和对Hadoop作业调度算法进行优化。Hadoop集群优化对于提高系统性能和执行效率具有重大的意义。

关键词:Hadoop集群;性能优化;配置参数;作业调度

中图分类号:TP14文献标识码:A文章编号:1009-3044(2011)22-5484-03

ResearchofHadoopPerformanceTuningTechnology

XINDa-xin,LIUFei

(Xi'anTechnologicalUniversity,Xi'an710032,China)Abstract:Hadooptechnologyhadbeenwildlyusedandresearcharoundtheinternetandacademics.ThearticleintroducetheremindedproblemsofHadoopdataprocessingplatformandIllustraConfigurationparametersimizationthehadoopperformacetoincreasethesystemperformaceandefficiency.

Keywords:Hadoopcluster;performanceoptimization;configurationparameters;jobscheduler

hadoop是隶属于Apache软件基金会(ApacheSoftwareFoundation)的开源JAVA项目,它是一个分布式的具有可靠性和可扩展性的存储与计算平台。历经多年发展,Hadoop社区不断扩大,而Hadoop本身也已经演变成为一个拥有众多子项目的项目集合,其中最核心的部分是用于分布式存储HDFS(HadoopDistributedFileSystem)文件系统和用于分布式计算的MapReduce计算架构,除此以外还有HBase、Hive、Pig和ZooKeeper等。

1Hadoop数据处理平台存在的问题

随着企业要处理的数据量越来越大,MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现,由于其良好的扩展性和容错性,已得到越来越广泛的应用。Hadoop作为一个基础数据处理平台,虽然其应用价值已得到大家认可,但仍存在很多问题,主要表现在以下几个方面:

1)Namenode/jobtracker单点故障。Hadoop采用的是master/slaves架构,该架构管理起来比较简单,但存在致命的单点故障和空间容量不足等缺点,这已经严重影响了Hadoop的可扩展性。

2)HDFS小文件问题。在HDFS中,任何block,文件或者目录在内存中均以对象的形式存储,每个对象约占150byte,如果有10000000个小文件,每个文件占用一个block,则namenode需要2G空间。如果存储1亿个文件,则namenode需要20G空间。这样namenode内存容量严重制约了集群的扩展。

3)jobtracker同时进行监控和调度,负载过大。为了解决该问题,yahoo已经开始着手设计下一代HadoopMapReduce。他们的主要思路是将监控和调度分离,独立出一个专门的组件进行监控,而jobtracker只负责总体调度,至于局部调度,交给作业所在的client。

4)数据处理性能。很多实验表明,其处理性能有很大的提升空间。Hadoop类似于数据库,可能需要专门的优化工程师根据实际的应用需要对Hadoop进行调优,有人称之为“HadoopPerformanceOptimization”(HPO)。

由于Hadoop平台已经成为了大多数公司的分布式数据处理平台,随着数据规模的越来越大,对集群的压力也越来越大,集群的每个节点负担自然就会加重,而且集群内部的网络带宽有限,数据交换吞吐量也在面临考验,因此也引发了人们对大规模数据处理进行优化的思考。

2从应用程序角度进行优化

由于mapreduce是迭代逐行解析数据文件的,怎样在迭代的情况下,编写高效率的应用程序,是一种优化思路。可以从以下7个方面来提高MapReduce的性能:避免不必要的reduce任务、外部文件引入、为Job添加一个Combiner、重用Writable类型、使用StringBuffer而不是String和调试程序跟踪程序的瓶颈。

收稿日期:2011-06-21

作者简介:辛大欣(1966-),男,陕西西安人,西安工业大学副教授,硕士,主要研究方向为计算机体系结构;刘飞(1987-),男,湖北荆

州人,西安工业大学硕士生在读,就读专业是计算机软件与理论,主要研究方向为基于云计算的分布式存储系统的研究

与应用。

5484计算机工程应用技术本栏目责任编辑:梁书

第1页

你可能喜欢

热门文档

相关文档

  • Hadoop集群性能优化技术研究

    第 7 卷第 22 期 (2011 年 8 月 ) http://www.dnzs.net.cn E-mail: kfyj@cccc.net.cn Tel:+86-551-5690963 5690964 Hadoop 集群性能优化技术研究辛...

  • Hadoop平台的性能优化研究

    开发研究与设计技术? Hadoop平台的性能优化研究柬亚建,黄群民,类高晨,赵铁柱(...O的多重并发,平衡磁盘和网络带宽,减小瓶颈出现 的可能性,提高集群系统整体性能...

  • 基于调度器的Hadoop性能优化方法研究

    Hadoop平台的性能优化研究 3页 1财富值 Hadoop集群性能优化技术研... 3页 ...首先对 Hao p传统的性能优化方法进行 了对 比,指 出其存在 问题 的关键是 ...

  • Hadoop平台的性能优化研究

    Hadoop集群性能优化技术... 3页 免费 Hadoop性能优化研究 暂无评价 4页 免费 Hadoop平台的性能研究1 8页 1下载券 hadoop讲解 40页 免费 Hadoop综述 86页 免费...

  • Hadoop集群_第12期副刊_HBase性能优化_V1.0

    Hadoop集群_第12期副刊_HBase性能优化_V1.0_计算机软件及应用_IT/计算机_...调优: Arena Allocation,是一种 GC 优化技术,它可以有效地减少因内存碎片导致的...

  • Hadoop在大数据环境下的性能优化

    研究背景伴随着 Web2.0 的快速发展, 网络搜索、 电子商务、在线视频、社交网络... Hadoop集群性能优化技术... 3页 免费 大数据与Hadoop 67页 2下载券 Hadoop...

  • 集群Hadoop性能测试

    集群Hadoop性能测试_电脑基础知识_IT/计算机_专业资料。测试报告 1,测试方法...324 4,全部优化选项打开后比较测试: Default 2'11'15 Opti 51'43 5, 总结...

  • 高性能集群优化技术

    高性能集群优化技术_互联网_IT/计算机_专业资料。非常不错的集群优化文档... Hadoop集群性能优化技术... 3页 免费 高性能并行集群的性能测... 4页 免费...

  • Hadoop平台的性能优化研究

    开发研究与设计技术? Hadoop平台的性能优化研究柬亚建,黄群民,类高晨,赵铁柱(...O的多重并发,平衡磁盘和网络带宽,减小瓶颈出现 的可能性,提高集群系统整体性能...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email