Hadoop,云计算
实践与经验
可以分成两大类角色:Master和Slave,前者主要配置NameNode和JobTracker节点;后者配置DataNode和定的变量。HADOOP_HOME变量的设定是可选的,不设定的话HADOOP_HOME默认的是bin目录的父目录,如设置如下:
exportHADOOP_HOME=/home/lin/HadoopInstall/hadoopexportJAVA_HOME=/usr/java/jdk1.6.0
TaskTracker节点。例如在我们的实验中,配置Hadoop集群一共有3台PC,一台部署为NameNode和Job-Tracker,另外两台部署为DataNode和TaskTracker。使用的操作系统为RedHatLinux,Java环境为jdk-1.6.0-14,Hadoop版本为Hadoop0.20,并在各节点的/etc/hosts文件中添加节点IP及对应机器名。
②修改core-site.xml配置文件,配置Namenode的IP和端口;
③修改hdfs-site.xml配置文件,配置数据备份数量;④修改mapred-site.xml配置文件,配置JobTracker的IP和端口;
⑤格式化Namenode,执行bin文件夹中格式化命令:hadoopnamenode-format。
(4)编写基于Hadoop的应用程序:
①编写完成Map任务的程序,处理输入的Key-Value对,输出中间结果。
②编写完成Reduce任务的程序(可选),对中间结果进行规约,输出最终结果。
图3基于Hadoop的云计算模型
如果该台机器作NameNode节点用,则需要在hosts文件中加上集群中所有机器的IP地址及其对应的机器名,例如在我们的实验中,NameNode节点的/
③定义InputFormat和OutputFormat(可选),Input-Format的主要职责是验证输入的类型是否符合配置类型;OutputFormat的职责是验证输出目录是否已经存在和输出结果类型是否符合配置类型,如果都成立,则输出Reduce汇总后的结果。
etc/hosts文件内容如下:
192.168.1.103lin-1192.168.1.104lin-2192.168.1.105lin-3
4结语
云计算作为一种新兴的并行计算技术,在数据挖
如果该台机器作DataNode节点用,则只需要在hosts文件中加上本机IP地址和NameNode节点的IP地址,如:
192.168.1.103lin-1192.168.1.104lin-2
掘、图像处理、大规模数据处理等领域有着广泛的应用前景。而Hadoop作为一个开源的软件平台使得编写和运行处理海量数据的应用程序更加容易,了解基于
Hadoop的云计算模式可以使我们对云计算的体系架构有了一定的基础理论,对进一步开发自己的云计算系统有重要的参考价值。
参考文献
(2)建立SSH受信证书。
由于Master将会通过SSH启动所有Slave的Hadoop,所以需要建立单向或者双向证书保证命令执行时不需要再输入密码。利用ssh-keygen生成Na-
meNode节点的密钥对,然后将其公钥拷贝至各机器home/ssh目录中的authorized文件下,从而实现各个节点间的无密码访问。
(3)Hadoop平台搭建
在Hadoop的安装目录中的conf文件夹里存储的是Hadoop的各个配置文件,bin文件夹里存储的是
Hadoop命令文件。
①修改hadoop-env.sh配置文件:在文件中设置Hadoop需要的环境变量,其中JAVA_HOME是必须设
[1]StephenBaker.GoogleandtheWisdomofClouds[EB/OL].doc.guandang.net
[2]陈康,郑纬民.云计算:系统实例与研究现状[J].软件学报,2009,20(5):1337~1348
[3]Hadoop[EB/OL].doc.guandang.net[4]DeanJ,GhemawatS.MapReduce:SimplifiedDataProcessingonLargeClusters[J].CommunicationsoftheACM,2008,51(1):107~113
(下转第121页)
20
实践与经验 基于 Hadoop 的云计算模型林清滢(韩山师范学院数学与信息技术系,潮州 521041 )摘要: Hadoop 是一个更容 易开 发和 并行 处理 大规 模数 据的 ...
探讨了来自Apache开源的分布式计算平台Hadoop的核心设计MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法。...
本文的研究课题是基于 Hadoop 的云计算模型研究与应用,主要目标是:分析 传统 Hadoop 框架的性能瓶颈,设计一种新的 Hadoop 框架;在改进传统 Hadoop 框架的基础上,...
Technology and Study·技术探讨 基于Hadoop云计算模型探究李 (汕头市经贸职业技术学校 广东汕头 515041) 【摘要】 云计算是并行计算、 分布式计算和网格计算的发展...
介绍了云计算的关键技术,这些技术包含虚拟机和计算模 型等,还基于Hadoop对云计算模型进行了研究。 关键词:云计算;云计算关键技术;云计算计算模型;Hadoop 中图分类...
介绍了基于hadoop的云计算模型。介绍了基于hadoop的云计算模型。隐藏>> 第9 第9 卷期 21年 9月 00 软件导刊 SfwaeGud otr ie Vo. . 1N099 Se20p.01 云...
2010 云计算关键技术及基于 Hadoop 的云计算模型研究洪 沙,杨深远 (重庆大学 软件学院,重庆 400030 )摘要:云计算是在网格计算基础上新兴的计算模型 ,是互联网...
(论文 题目 设计 论文)题目: 论文 题目: 专 题题 目: 姓名: 姓名: 基于 Hadoop 的云计算研究与实现 QQ 122414395 学号: 学号: 200707024115 计算机系 刘宗奇...
〔1〕 刘鹏. 云计算〔 M. 北京: 电了工业出版社, 2010.〕〔2〕 朱珠. 基于 Hadoop 的海量数据处理模型研究和应用〔 M.〕 北京: 北京邮电人学, 2008.〔...
可移植性强, 为个人和企业进行云计算方面的研 究和应用奠定了基础, 基于 Hadoop 云计算平台, 使用 MapReduce 模型进行大规模数据分析目前已经 成为一个重要的...
热门文档