Hadoop集群性能优化技术研究
1009-3044
与技术电脑知识与技术ComputerKnowledgeKnowledgeandandTechnologyTechnology电脑知识No.22,August2011.E-mail:kfyj@cccc.net.cn第7卷第22期(2011年8月)doc.guandang.net集群性能优化技术研究
辛大欣,刘飞
(西安工业大学,陕西西安710032)
摘要:Hadoop技术已经在互联网领域得到广泛的应用,同时也得到了学术界的普遍关注。该文介绍了Hadoop作为基础数据处理平台仍然存在的问题,阐明了Hadoop性能优化技术研究的必然性,并介绍了当前Hadoop优化的三个主要思路:从应用程序角度进行优化、对Hadoop系统参数进行优化和对Hadoop作业调度算法进行优化。Hadoop集群优化对于提高系统性能和执行效率具有重大的意义。
关键词:Hadoop集群;性能优化;配置参数;作业调度
中图分类号:TP14文献标识码:A文章编号:1009-3044(2011)22-5484-03
ResearchofHadoopPerformanceTuningTechnology
XINDa-xin,LIUFei
(Xi'anTechnologicalUniversity,Xi'an710032,China)Abstract:Hadooptechnologyhadbeenwildlyusedandresearcharoundtheinternetandacademics.ThearticleintroducetheremindedproblemsofHadoopdataprocessingplatformandIllustraConfigurationparametersimizationthehadoopperformacetoincreasethesystemperformaceandefficiency.
Keywords:Hadoopcluster;performanceoptimization;configurationparameters;jobscheduler
hadoop是隶属于Apache软件基金会(ApacheSoftwareFoundation)的开源JAVA项目,它是一个分布式的具有可靠性和可扩展性的存储与计算平台。历经多年发展,Hadoop社区不断扩大,而Hadoop本身也已经演变成为一个拥有众多子项目的项目集合,其中最核心的部分是用于分布式存储HDFS(HadoopDistributedFileSystem)文件系统和用于分布式计算的MapReduce计算架构,除此以外还有HBase、Hive、Pig和ZooKeeper等。
1Hadoop数据处理平台存在的问题
随着企业要处理的数据量越来越大,MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现,由于其良好的扩展性和容错性,已得到越来越广泛的应用。Hadoop作为一个基础数据处理平台,虽然其应用价值已得到大家认可,但仍存在很多问题,主要表现在以下几个方面:
1)Namenode/jobtracker单点故障。Hadoop采用的是master/slaves架构,该架构管理起来比较简单,但存在致命的单点故障和空间容量不足等缺点,这已经严重影响了Hadoop的可扩展性。
2)HDFS小文件问题。在HDFS中,任何block,文件或者目录在内存中均以对象的形式存储,每个对象约占150byte,如果有10000000个小文件,每个文件占用一个block,则namenode需要2G空间。如果存储1亿个文件,则namenode需要20G空间。这样namenode内存容量严重制约了集群的扩展。
3)jobtracker同时进行监控和调度,负载过大。为了解决该问题,yahoo已经开始着手设计下一代HadoopMapReduce。他们的主要思路是将监控和调度分离,独立出一个专门的组件进行监控,而jobtracker只负责总体调度,至于局部调度,交给作业所在的client。
4)数据处理性能。很多实验表明,其处理性能有很大的提升空间。Hadoop类似于数据库,可能需要专门的优化工程师根据实际的应用需要对Hadoop进行调优,有人称之为“HadoopPerformanceOptimization”(HPO)。
由于Hadoop平台已经成为了大多数公司的分布式数据处理平台,随着数据规模的越来越大,对集群的压力也越来越大,集群的每个节点负担自然就会加重,而且集群内部的网络带宽有限,数据交换吞吐量也在面临考验,因此也引发了人们对大规模数据处理进行优化的思考。
2从应用程序角度进行优化
由于mapreduce是迭代逐行解析数据文件的,怎样在迭代的情况下,编写高效率的应用程序,是一种优化思路。可以从以下7个方面来提高MapReduce的性能:避免不必要的reduce任务、外部文件引入、为Job添加一个Combiner、重用Writable类型、使用StringBuffer而不是String和调试程序跟踪程序的瓶颈。
收稿日期:2011-06-21
作者简介:辛大欣(1966-),男,陕西西安人,西安工业大学副教授,硕士,主要研究方向为计算机体系结构;刘飞(1987-),男,湖北荆
州人,西安工业大学硕士生在读,就读专业是计算机软件与理论,主要研究方向为基于云计算的分布式存储系统的研究
与应用。
5484计算机工程应用技术本栏目责任编辑:梁书
第 7 卷第 22 期 (2011 年 8 月 ) http://www.dnzs.net.cn E-mail: kfyj@cccc.net.cn Tel:+86-551-5690963 5690964 Hadoop 集群性能优化技术研究辛...
开发研究与设计技术? Hadoop平台的性能优化研究柬亚建,黄群民,类高晨,赵铁柱(...O的多重并发,平衡磁盘和网络带宽,减小瓶颈出现 的可能性,提高集群系统整体性能...
Hadoop平台的性能优化研究 3页 1财富值 Hadoop集群性能优化技术研... 3页 ...首先对 Hao p传统的性能优化方法进行 了对 比,指 出其存在 问题 的关键是 ...
Hadoop集群性能优化技术... 3页 免费 Hadoop性能优化研究 暂无评价 4页 免费 Hadoop平台的性能研究1 8页 1下载券 hadoop讲解 40页 免费 Hadoop综述 86页 免费...
Hadoop集群_第12期副刊_HBase性能优化_V1.0_计算机软件及应用_IT/计算机_...调优: Arena Allocation,是一种 GC 优化技术,它可以有效地减少因内存碎片导致的...
研究背景伴随着 Web2.0 的快速发展, 网络搜索、 电子商务、在线视频、社交网络... Hadoop集群性能优化技术... 3页 免费 大数据与Hadoop 67页 2下载券 Hadoop...
集群Hadoop性能测试_电脑基础知识_IT/计算机_专业资料。测试报告 1,测试方法...324 4,全部优化选项打开后比较测试: Default 2'11'15 Opti 51'43 5, 总结...
高性能集群优化技术_互联网_IT/计算机_专业资料。非常不错的集群优化文档... Hadoop集群性能优化技术... 3页 免费 高性能并行集群的性能测... 4页 免费...
开发研究与设计技术? Hadoop平台的性能优化研究柬亚建,黄群民,类高晨,赵铁柱(...O的多重并发,平衡磁盘和网络带宽,减小瓶颈出现 的可能性,提高集群系统整体性能...
热门文档