海量数据分布式存储方案的分析与设计
中国科技论文在线 doc.guandang.net 海量数据分布式存储方案的分析与设计
乔宇(北京邮电大学信息与通信工程学院,北京 100876)
摘要:随着网络用户的不断扩大,企业内部网络数据、Internet上的数据、电子邮件, 无数个不同的商用软件和数据库数据使数据量爆炸性增长,人们对网络的传输速度、数据的安全及可靠性有 了新的认识。用户的数据,广泛地分布在很多地方,工作效率正在被数据传输的效率所限制。本文将研究一种海量数据的解决方案,用于对各种海量信息进行处理,从而使用户可以方便快捷的取得自己需要的信息。
关键词: web2.0;海量数据处理;海量数据存储;海量数据索引
中图分类号:TP311
The research and design of Great Capability Data
Qiao Yu
(Bejing University of Posts and Telecommunications, Beijing 100876)
Abstract: As the development of the web ,all kinds of data coming from all kinds of domains such as users , enterprise ,internete and E-mail make the data blast up.The data of users , spreaded around the whole world ,serverly restrict the transfer speed of the rate . In this paper ,we will discuss a new kind of way to store message and help people get their message with high speed.
Key words: web 2.0;mass data process; mass data storage; mass data indexing
0 引言
近些年来,博客(blog)、维基百科(wiki)、共享空间(spaces)等新型应用的兴起导致互联网内容的提供方式出现转变,催生了用户创造内容的web2.0 时代到来,带动着视频应用、网络游戏、搜索引擎等互联网衍生业务迅速发展[1]。互联网正处于一个信息爆炸的时代。面对信息爆炸的互联网,如何去存储和处理所产生的海量数据,对诸如Facebook、YouTube等大规模互联网企业提出了巨大的技术挑战,同时也开启了广阔的研究空间[2]。 互联网应用种类繁多,包括Facebook、MySpace为代表的社会关系网络、Flickr为代表 的图片共享应用、Youtube 为代表的视频共享应用以及以谷歌(Google)、雅虎(Yahoo)为代表的搜索引擎应用等[3]。这些互联网应用因为自己的应用特性不同,面对不断增长的互联网用户带来的不断增长的数据(视频、图片、博客等)所采用的技术路线不尽相同。但是,这些技术路线从本质上可以分为两个方面:海量数据的存储管理技术以及针对海量数据的处理技术[4]。
本文将根据海量数据设计出一种数据存储方案,并且数据处理的解决方案。这种方案在笔者所完成的北京市中小企业分析系统中得到了应用。
作者简介:北京邮电大学08级研究生,主修数据仓库和数据挖掘专业. E-mail: qiaoyu8727@163.com
3性能分析3.1可靠性 在高动态的分布式存储系统中,结点在任意时刻 可能表现出... 海量数据分布式存储方案... 6页 1下载券 一种基于分布式开放资源... 11页 ...
本论文的主要工作是为分布式入侵检测系统COMON设计海量数据存储系统。系统位 于...然后讲述了在海量数据情况下数据库存储和文件存储的优化 方案,进行了性能分析,...
的同时,更需要对海量存储的模式、数据库策略及应用体系架构有更 高的设计考虑。...分布式是解决这种问题的一个很好的解决方案。 存储分类(根据服务器类型) Page ?...
在对海量设计文档的分布式存储技术进行分析比 较后...适合现有生产环境 的解 决方案,并且在 分布式存储 ... 海量RDF数据的分布式存储... 32人阅读 4页 ...
模 型对海量的城市交通流量数据进行了数据挖掘分析。...基于Ha—doop设计城市道路交通流量数据分布式存储与挖...库具有独特的优势,故选择HBase作为分布式数据存储方案...
根据数据存储的介质不同,可 以分为磁盘数据库和 ...为了实现海量信 进行 数据 初 始化 分布 。对 于...方案 ,但提 2 分布式 内存数据库数据分布的分析 ...
思维导图经典案例 Excel键盘快捷键 Photoshop的抠图技巧分析文档贡献者 ... 面向分布式IDS的海量数据... 67页 免费 海量数据分布式存储方案... 6页 1...
构建了海量海洋科学数据存储平台解决方案,采用Linux...本系统设计开发的重点内容.它 采用分布式数据库技术...分析其海量数据的 结构类型,对北部湾海洋科学数据...
个分布式存储系统,提供了高效的 海量数据存储解决方案.HDFS借鉴了GOogle的GFSL41文件系统,是设计运行在通用硬件上的分布 式文件系统,适合于大数据的读写,且在设计...
基于Hadoop 平台的数据分析方案的设计应用_IT/计算机_专业资料。面对互联网上的海量数据,单台主机已无法满足其存储和计算要求,分布式存储和分布式计算的应用成为必然...
热门文档