文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 计算机软件及应用 > 移动互联网上网行为记录应用云计算技术研究
侵权投诉

移动互联网上网行为记录应用云计算技术研究

云计算技术与应用,移动互联网,数据中心

“聚焦2011国际通信展”专题

图1说明了用MapReduce来处理大数据集的过程,这个MapReduce 的计算过程简而言之,就是将大数据集分解为成百上千的小数据集,每个(或若干个)数据集分别由集群中的一个结点(一般就是一台普通的计算机)进行处理并生成中间结果,然后

这些中间结果又由大量的结点进行合并,形成最终结果。

计算模型的核心是Map和Reduce两个函数,这两个函数由用户负责实现,功能是按一定的映射规则将输入的<key, value>对转换成另一个或一批<key, value>对输出,如表1所示。

以一个计算文本文件中每个单词出现的次数的程序为例,<k1, v1>可以是<行在文件中的偏移位置,文件中的一行>,经Map函数映射之后,形成一批中间结果<单词,出现次数>,而Reduce函数则可以对中间结果进行处理,将相同单词的出现次数进行累加,得到每个单词的总的出现次数。

基于MapReduce计算模型编写分布式并行程序非常简单,程序员的主要编码工作就是实现Map和Reduce函数,其它的并行编程中的种种复杂问题,如分布式存储、工作调度、负载平衡、容错处理、网络通信等,均由 MapReduce框架负责处理,程序员完全不用操心。

Reduce<k2,List(v2)>Map

<k1, v1>

函数

输入

表1 Map和Re duce函数

输出

说明

1.将小数据集进一步解析成一批<key,value>对,输入

Map函数中进行处理。

List(<k2,v2>)

2.每一个输入的 <k1,v1> 会输出一批 <k2,v2>。 <k2,v2>

是计算的中间结果。 <k3,v3>

输入的中间结果 <k2,List(v2)> 中的 List(v2) 表示是一批

属于同一个 k2 的 value

这种分布式数据库正在形成一种趋势。分布式数据库和传统的关系型数据库有一定的区别,两者基于不同的理论。第一,传统的数据库有非常强的事务能力,因其一致性高,导致它的扩展性非常复杂;第二,对于互联网企业来讲,其更多关注的不是一致性,其只需要在最终达到数据一致就可以了。这样,在传统数据库解决不了企业应用的问题时,就会出现分布式数据库解决方案。分布式的数据库解决方案并不代表传统数据库的终结,分布式数据库有自己的应用领域,但传统的数据库也仍有自身的用武之地。未来,分布式数据库和传统的关系型数据库应该是互相弥补、互相结合的。

3 分布式数据库在上网记录查询方面的优势分析

分布式数据库系统是在集中式数据库系统的基础上发展来的,分布式数据库系统设计时基于硬件错误是常态,而不是基于异常、简单的一致性模型、大规模数据集、异构软硬件平台间的可移植性、移动计算比移动数据更划算等设计理念,因此分布式数据库从诞生之日起,就非常适合查询类应用。比较分布式数据库系统与集中式数据库系统,可以发现分布是数据库系统具有下列优点:

(1)更适合分布式的管理与控制。分布式数据库系统的结构更适合具有地理分布特性的组织或机构使用,允许分布在不同区域、不同级别的各个部门对其自身的数据实行局部控制。例如:实现全局数据在本地录入、查询、维护,这时由于计算机资源靠近用户,可以降低通信代价,提高响应速度,而涉及其他场地数据库中的数据只是少量的,从而可以大大减少网络上的信息传输量;同时,局部数据的安全性也可以做得更好。

2.3 分布式数据库

传统数据库已经逐渐被企业应用,在应用的过程当中遇到了很多问题;而分布式数据库具备的高可用、高扩展等特点,则解决了传统数据库无法解决的问题。分布式数据库这种高可用、高扩展特性将会形成一种技术趋势。

传统数据库,比如关系型数据库在解决问题的时遇到了瓶颈,大量访问用户在访问量方面遇到了新的挑战;真正未来的数据库是一个分布式解决方案,它类似于NoSql解决方案。分布式数据库解决方案具备两个特点:第一,具有弹性可扩展性;第二,单点不可靠、但整个集群是可靠。分布式数据库是未来数据库或者互联网应用比较青睐的数据库。

20

2011年第17期

责任编辑:吴竹立 wuzhuli@mbcom.cn

上一页第3页

你可能喜欢

  • APP时代
  • 移动APP
  • 海量数据处理
  • 移动互联网报告
  • 云计算技术
  • app方案

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email