文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 信息与通信 > 基于Hadoop的分布式日志分析系统
侵权投诉

基于Hadoop的分布式日志分析系统

就如何防御泛洪攻击问题,建立了基于Hadoop的分布式日志分析系统。通过快速提炼访问日志中每个IP地址的请求次数,获取其中请求频率较大的异常IP以有效甄别攻击源,进而为解决泛洪攻击提供重要的现实依据。通过实验,我们不仅验证出分布式日志分析模式较单机模式的巨大时效性优势,还搭建由不同文件系统为基底的虚拟机担当Naves的两种分布式集群环境,并对两者性能做了详细的对比

第3 6卷增刊 1 21 0 1年 1 0月

广西大学学报:自然科学版 J u a fGu n x ie st: a c d o r lo a g iUnv ri N tS iE n y

Vo . 6 S p 1 13 u . 0 t2 1 c. 0 1

文章编号:0 17 4 (0 1增 1 390 10 _45 2 1 ) - 3 -4 0

基于 Ha o p的分布式日志分析系统 do 陈文波,张秀娟,李林,唐钧

(兰州大学通信网络中心,甘肃兰卅I 30 0 00 ) 7

摘要:就如何防御泛洪攻击问题,建立了基于 Haop的分布式日志分析系统。通过快速提炼访问日志中每个 do

1 P地址的请求次数,获取其中请求频率较大的异常 I P以有效甄别攻击源,进而为解决泛洪攻击提供重要的现实依据。通过实验,我们不仅验证出分布式日志分析模式较单机模式的巨大时效性优势,还搭建由不同文件 系统为基底的虚拟机担当 Sae l s的两种分布式集群环境, v并对两者性能做了详细的对比和分析。 关键词:泛洪攻击;日志分析; a op分布式计算; H do;虚拟机 中图分类号: P9 T33文献标识码: A

A s r b e s s e f l g a l ss b s d o Ha o dit i ut d y t m o o na y i a e n do p

C E nb,HA G X uja L i, A G J n H N We—o Z N i- n,I n T N u u L ( ew r eerhC ne,azo nvr t,a zo 30 0 C ia N tokR sa etrL nhuU i sy Lnhu7 0 0, h ) c ei n

Ab t a t n t e is e o ee d n lo i g atc sr c:O h su fd f n i g F o d n— t k,t e p p re tb ih d a d s b td s s m f a h a e sa l e it u e y t o s i r e l g a ay i a e n Ha o p o n l s b s d o d o .B h n l s ft e n mb ro a h I e u ssfo a c s o s s y t e a ay i o u e fe c P r q e t m c e s lg, s h r we c n g tt e u u u l I t tha r q e tr q e t n d t c h o r e o ta k fe tv l

a e h n s a P ha s fe u n e u ss a d ee t t e s u c fa tc s ef cie y, p o i ng ar a itc b ssf rs li g t e p o l m ffo d at c .Th o h e p rme t,we n to l r vdi e lsi a i o ov n h r b e o o ta ks l rug x e i ns o n y

h v e i e h t h i r u e y tm a u e a v n a e o me i e sc mp r d w t h i ge a e v r id t a e d s i t d s se h sa h g d a tg f i l s o a e i t e sn l f t tb t n h ma h n y t m,b tas u l t it b t d s se h s lv s w r d p o i u l ma c ies s e u l b i wo d sr u e y tms w o e sa e e e ma e u fv r a— o t i t c i e t h a e o ifr n ie s se h n s wih t e b s fd fe e tfl y t ms,t o whih p ro ma c sc mp r d i eal c e fr n e wa o a e n d ti.

Ke r s l o i g atc y wo d:f d n t k;l g a ay i;Ha o p;d sr u e o u ain;v r a c i e o a o n lss do i i t d c mp t t tb o i u lma h n t

通常,将恶意用户通过伪造大量合法报文,并将其发送到在线服务器而产生的网络安全问题称之为泛洪攻击。以 D C J H P泛洪为例,这种恶意攻击不仅耗尽了 I P资源,让合法用户无法获得 I P地址,而且使服务器高负荷运行甚至导致正常服务瘫痪。统计访问日志中各 I地址的请求次数、 P提取请求异常 频繁的 I检测攻击源、 P是防御泛洪攻击的有效方法之一。然而,问日志大多包含较多数据信息,访日志文件大小通常是 G B级的;统单机模式下多线程、传多任务分解的日志分析模式设计过程繁杂、时较耗 长,因而时效性很差。本文以 Ma R d c p eu e构架为引导, A ah源软件 H do 为基础, H—以 p c e开 a op就 a

do大主流应用场景之一日志分析

,立了 Haop分布式日志分析系统,通过实验验证了其较单 op两建 do并机模式的时效性优势,为有效解决泛洪攻击奠定了基础。此外,文用虚拟机作为集群环境搭建平台,本

简易、高效,且衍生出不同文件系统的虚拟机集群环境,十分有利于集群优化。

收稿日期:0 1 92;订日期:0 11-5 2 1 ̄ -5修 0 2 1.0 0

通讯联系人:陈文波( 9 0)男, 17一,辽宁辽阳人,兰州大学副教授;— a: hn b z.d .a E m i c ew@l eu c。 l u

基于Hadoop的分布式日志分析系统

第1页

你可能喜欢

热门文档

相关文档

  • 基于Hadoop的分布式日志分析系统

    1 程序流程图 The flow diagram of program 图 1 展示了实验中分布式日志分析算法的全部操作流程 。 首先, 当用户将待处理日志文件导入 Hadoop 分布式文件系统( ...

  • 基于Hadoop集群的分布式日志分析系统研究

    科技信息 OIT论坛o 2009年第15期 基于Hadoop集群的分布式日志分析系统研究王润华 (北京政法职业学院计算机系 中国 北京100024) 【摘要】当数据存储和计算遇到瓶颈时...

  • 基于Hadoop集群的分布式日志分析系统研究

    基于Hadoop集群的分布式日志分析系统研究_IT/计算机_专业资料。hadoop科技信息 ○IT 论坛○ SCIENCE & TECHNOLOGY INFORMATION 2009 年第 15 期 基于 Hadoop 集群的分...

  • 基于Hadoop集群的分布式日志分析系统研究

    基于Hadoop集群的分布式日志分析系统研究_IT/计算机_专业资料 暂无评价0人阅读0次下载举报文档 基于Hadoop集群的分布式日志分析系统研究_IT/计算机_专业资料。科技...

  • 基于Hadoop分布式平台的WEB日志分析系统

    基于Hadoop分布式平台的日志分析系统 分布式平台的日志分析系统 基于 内容概要 1.日志数据的生成 2.日志数据的推送 3.日志数据的写入 4.日志数据的分析 5.日志...

  • 基于Hadoop集群的分布式日志分析系统研究

    并通过具体的代码说明了基于Hadoop集群的分布式日志分析系统的工作方式。 【关键词】Hadoop;分布式;HDFS;MapReduce 瓦联网高速发展.各种Web2.0网站、电子商务网站创造...

  • 基于Hadoop 集群的日志分析系统的设计与实现

    基于Hadoop 集群的日志分析系统的设计与实现_设计/艺术_人文社科_专业资料。龙源...复杂的任务,单一主机已经无法满足要求,使用分布式存储和 分布式计算来分析数据已经...

  • 基于Hadoop的网络日志分析系统研究

    阐述了 syslog 日志收集流程,详细介绍了 Hadoop 分布式计 算框架,设计并实现了一套基于 Hadoop 的网络日志分析系统。 实验证明该系统是有效而实用的。 关键词:...

  • 基于HADOOP的网络日志分析系统研究

    基于HADOOP的网络日志分析系统研究_IT/计算机_专业资料。基于HADOOP的网络日志分析...阐述 了ss g日志 收集 流程 , 细介 绍了Hao p分布式计 ylo详do算框架,计...

  • 基于Hadoop分布式文件系统的分析与研究

    基于Hadoop分布式文件系统的分析与研究_计算机软件及应用_IT/计算机_专业资料。计算机光盘软件与应用2011年第9期ComputerCDSoftwareandApplications 软件设计开发 基于Hadoop...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email