hadoop
科技信息OIT论坛o2009年第15期
基于Hadoop集群的分布式日志分析系统研究
王润华
(北京政法职业学院计算机系中国
北京100024)
【摘要】当数据存储和计算遇到瓶颈时,分布式技术相对于传统的向上扩展技术在伸缩性和成本上都具有巨大的优势。本文介绍了开源的分布式编程框架Hadoop。并通过具体的代码说明了基于Hadoop集群的分布式日志分析系统的工作方式。
【关键词】Hadoop;分布式;HDFS;MapReduce
瓦联网高速发展.各种Web2.0网站、电子商务网站创造了前所未
有的访问鼍记录,各种大型网络游戏不断刷新着在线用户数峰值,与此同时这些大型系统都记录下了海鼍的运行U志。挖掘出日志中蕴藏的信息来改进用户体验提升服务质罱是非常有价值的.然『『ii使用传统的技术对这些海量F1志进行分析时无论在存储和计算量上都遇到了瓶颈,此时分布式计算技术进入了人们的视野。Hadoop作为著名开源组织TheApacheSoftwareFoundation旗下专注于分布式计算的开源项目最近广受业界的关注。在Yahoo!Hadoop被广泛应用到网页搜索、日志分析、广告计算和科学实验中。著名SNS网站Facebook使崩600个节点的Hadoop集群进行网站日志分析和数据挖掘.此外AOL、IBM、Amazon等众多IT巨头也都在使用Hadoop。
本文以网站H志分析系统为例介绍了Hadoop在海量日志分析中的应用。
1.Hadoop介绍
Hadoop文档。
2.1注意防火墙设置,master配置文件hadoop—site.xml中fs.default.naine和mapred.job.tracker项中所配置的端口必须在相应master机器t二开放。
2.2master必须能够无需密码通过SSH访问所有slave机器。而启动和关闭整个集群的机器也必须能够无需密码通过SSH访『丌】集群中的所有机器。
2.3master和slave机器l:的/etc日录下的hosts中必须把集群中机器都配置上去。如果发现在执行Reduce的时候总是卡住,在拷贝的时候就无法继续下去,不断重斌,那就有町能是hosts文件配置问题。
2.4集群中的机器名不能重复。
3.日志分析系统演示
这里以Apache访问日志为例。演示了如何使用Hadoop集群进行日志分析。
Apacheace.s403NET
在介绍Hadoop之前先来提一下互联网行业巨擎—嘞一e。
C,ooSle引以自豪的二大核心技术1使其在激烈的行业竞争中占尽先机。其中GFS和MapReduce正是其中分另U负责分布式文件系统和分布式编程模型的部分。Hadoop正是借签r许多GFs和GoogleMapReduce的设计思想而发展起来的。从某种程度上可以将Hadoop理解为GFS和GooglcMapReduce的开源实现。
从官方网站上的介绍可以看到Hadoop是一个可以更容易开发和并行处理大规模数据的分布式计算平台。其宅要优点是:可扩展(Scalable)、低成本(Fconomical)、商效(Efficient)、可靠(Reliable)。它完全使用Java开发,因而可以J“泛运行在多种软硬件平台上。
Hadoop主要由两部分构成:Hadoop分布式文件系统(HDFS)和在
log中日志格式如下:
192.168.5.1一一[04/Mar/2009:18:5h19+08001”GET,HTrP,1.1”
7.0;WindowsNT
5.1;.
3918“一…‘Mozilla/4.0(compatible;MSIE
CLR2.0.50727;CIBA;.NET
CI景3.0.04506.648;.NETCLR
3.5.21022;.NETCLit3.0.4506.2152;.NETCLR3.5.30729)”
192.168.5.132一一[06/Mad2009:09:08:03+08001”GETIfarleen.ice}r丌下v1.1”404288“一””Mozilla/5.0(XIl;U;Linuxi686;zh-CN;IV"
1.9.0.41Gecko/2008111217Fedora/3.0.4—1.fcl0Firefox/3.0.4”
先使用Hadoop提供的工具将日志文件上传到Hadoop的HDFS文件系统中。此后就可以使用MapReduce编程框架对口志进行处理了。
从海量的日志中分析来访独立IP的个数。Map和Reduce代码如下。由于篇幅限制,此处省略r细节代码:
publicvoid
HD硝上的MapReduce编程模型实现。HDFS和MapReduce的关系如
下图。
map(LongWritablekey,Textvalue,
OutputCollector<Text,IntWritable>output,Reporterreporter)throwsIOException{line=value.toStfin90;
String
Pattern
P=Pattem.compile(”、、d11,3)、、M{1,3)、、Nfl,3}\\Akl
m
2
{1,3}”);
Matcher
p.matcher(1ine);
while(m.find0){
word.set(m.sronp0);
output.colleet(word,one);}
MapReduee是在HDFS基础上实现的。MapReduce将计算作业分成许多小的单元,同时数据也会被HDFS分为多个小块,而且每个数据块被复制多分以保证系统的可靠性。HDFS按照一定的规则将数据块放置在集群中的不同机器上。以便MapReduce在数据宿主机器上t进行计算。
2.实验集群搭建
这里使用4台Pc机搭建Hadoop实验集群,机器名分别为hadoopl—hadoop4,其中hadoopl和hadoop2分别为NameNode和JobTracker.按照hadoop的体系机构它们称为master8。其他两台机器为slaves他们即作为1)ataNode也作为T船kTracker。操作系统为10,Had00p版本0.19,Java版本1~60—1l。由于Hadoop
的文档不是很详细。给初学者带来r许多困难,笔者在这单总结了集群配置过程中应注意的以下几个问题。详细的配置过程可参见
Linux
l
public
void
reduce(Textkey,ltemtor<IntWritable>values,
OutputCollector<Text,IntWritable>output,Reporter
reporter)throwsIOException{
reporter.incrCounter(MyCounter.TOTAL_IPS,1);l
在此基础上分析每个IP地址出现的次数。Map函数的代码无需改变.Reduce代码如下:
publicvoid
reduce(Textkey,herator<IntWritable>values,
OutputCollector<Text,In|[Writable>output,Reporter
Fedora
reporter)throwsIOException{
(下转第109页)
intsum=o:
while(values.hasNext0)l
∞万方数据
本文介绍了开源 的分布式编程框架 Hadoop ,并通过具体的代码说明了基于 Hadoop 集群的分布式日志分析系统的工作方式。 【关键词】Hadoop ;分布式;HDFS ;MapReduce ...
基于Hadoop集群的分布式日志分析系统研究_IT/计算机_专业资料 暂无评价0人阅读0次下载举报文档 基于Hadoop集群的分布式日志分析系统研究_IT/计算机_专业资料。科技...
基于Hadoop集群的分布式日志分析系统研究_文学研究_人文社科_专业资料。基于Hadoop集群的分布式日志分析系统研究科技信息 OIT论坛o 2009年第15期 基于Hadoop集群的...
基于Hadoop的分布式日志分析系统_信息与通信_工程科技_专业资料。就如何防御泛洪...还搭建由不同文件系统为基底的虚拟机担当Naves的两种分布式集群环境,并对两者性能...
基于Hadoop 集群的日志分析系统的设计与实现_设计/艺术_人文社科_专业资料。...复杂的任务,单一主机已经无法满足要求,使用分布式存储和 分布式计算来分析数据已经...
基于Hadoop的分布式日志分析系统_互联网_IT/计算机_专业资料。第 36 卷 增刊 ...1 搭建集群环境集群环境 在 Hadoop 系统中, 有一台 Master 主机, 主要负责 ...
基于Hadoop分布式平台的WEB日志分析系统_互联网_IT/计算机_专业资料。基于Hadoop...日志数据的写入 1、日志数据写入将存在于目标Hadoop集群 所在的OS文件系统中的...
基于Hadoop的分布式集群平台构建方法研究_互联网_IT/计算机_专业资料。2013 年第 8期 ( 总第 130期) 信息通信 INFORMAT10N&COMMUNICATIONS 2O13 (Su...
了 Hadoop 分布式计 算框架,设计并实现了一套基于 Hadoop 的网络日志分析系统。...然后将采集到的日志文件提交到 Hadoop 集群中的 Master ,Master 把文件切割成 ...
Hadoop 分布式集群搭建 简介: Hadoop 是 Apache 开源组织的一个并行分布式计算...HDFS: 基于 google GFS 分布式文件系统论文的开源实现,是 hadoop 底层存储 组件...
热门文档