云计算技术与应用,移动互联网,数据中心
“聚焦2011国际通信展”专题
图1说明了用MapReduce来处理大数据集的过程,这个MapReduce 的计算过程简而言之,就是将大数据集分解为成百上千的小数据集,每个(或若干个)数据集分别由集群中的一个结点(一般就是一台普通的计算机)进行处理并生成中间结果,然后
这些中间结果又由大量的结点进行合并,形成最终结果。
计算模型的核心是Map和Reduce两个函数,这两个函数由用户负责实现,功能是按一定的映射规则将输入的<key, value>对转换成另一个或一批<key, value>对输出,如表1所示。
以一个计算文本文件中每个单词出现的次数的程序为例,<k1, v1>可以是<行在文件中的偏移位置,文件中的一行>,经Map函数映射之后,形成一批中间结果<单词,出现次数>,而Reduce函数则可以对中间结果进行处理,将相同单词的出现次数进行累加,得到每个单词的总的出现次数。
基于MapReduce计算模型编写分布式并行程序非常简单,程序员的主要编码工作就是实现Map和Reduce函数,其它的并行编程中的种种复杂问题,如分布式存储、工作调度、负载平衡、容错处理、网络通信等,均由 MapReduce框架负责处理,程序员完全不用操心。
Reduce<k2,List(v2)>Map
<k1, v1>
函数
输入
表1 Map和Re duce函数
输出
说明
1.将小数据集进一步解析成一批<key,value>对,输入
Map函数中进行处理。
List(<k2,v2>)
2.每一个输入的 <k1,v1> 会输出一批 <k2,v2>。 <k2,v2>
是计算的中间结果。 <k3,v3>
输入的中间结果 <k2,List(v2)> 中的 List(v2) 表示是一批
属于同一个 k2 的 value
这种分布式数据库正在形成一种趋势。分布式数据库和传统的关系型数据库有一定的区别,两者基于不同的理论。第一,传统的数据库有非常强的事务能力,因其一致性高,导致它的扩展性非常复杂;第二,对于互联网企业来讲,其更多关注的不是一致性,其只需要在最终达到数据一致就可以了。这样,在传统数据库解决不了企业应用的问题时,就会出现分布式数据库解决方案。分布式的数据库解决方案并不代表传统数据库的终结,分布式数据库有自己的应用领域,但传统的数据库也仍有自身的用武之地。未来,分布式数据库和传统的关系型数据库应该是互相弥补、互相结合的。
3 分布式数据库在上网记录查询方面的优势分析
分布式数据库系统是在集中式数据库系统的基础上发展来的,分布式数据库系统设计时基于硬件错误是常态,而不是基于异常、简单的一致性模型、大规模数据集、异构软硬件平台间的可移植性、移动计算比移动数据更划算等设计理念,因此分布式数据库从诞生之日起,就非常适合查询类应用。比较分布式数据库系统与集中式数据库系统,可以发现分布是数据库系统具有下列优点:
(1)更适合分布式的管理与控制。分布式数据库系统的结构更适合具有地理分布特性的组织或机构使用,允许分布在不同区域、不同级别的各个部门对其自身的数据实行局部控制。例如:实现全局数据在本地录入、查询、维护,这时由于计算机资源靠近用户,可以降低通信代价,提高响应速度,而涉及其他场地数据库中的数据只是少量的,从而可以大大减少网络上的信息传输量;同时,局部数据的安全性也可以做得更好。
2.3 分布式数据库
传统数据库已经逐渐被企业应用,在应用的过程当中遇到了很多问题;而分布式数据库具备的高可用、高扩展等特点,则解决了传统数据库无法解决的问题。分布式数据库这种高可用、高扩展特性将会形成一种技术趋势。
传统数据库,比如关系型数据库在解决问题的时遇到了瓶颈,大量访问用户在访问量方面遇到了新的挑战;真正未来的数据库是一个分布式解决方案,它类似于NoSql解决方案。分布式数据库解决方案具备两个特点:第一,具有弹性可扩展性;第二,单点不可靠、但整个集群是可靠。分布式数据库是未来数据库或者互联网应用比较青睐的数据库。
20
2011年第17期
责任编辑:吴竹立 wuzhuli@mbcom.cn
文章从分布式计算技术角度出发,分析了移动互联网上网行...
移动互联网上网行为记录... 5页 1下载券 移动...研究团队:Sevan 云计算云计算与网格计算 ”云计算“...云计算也是有其技术来源的,其概念来自于网格计算。 ...
互联网用户行为分析引擎通过云计 算技术实现分布式并发的大规模计算能力 ,构建移动互联 网端到端的大数据挖掘分析系统 ,实现对 DPI 和应用平台 用户上网行为的偏好...
设计的移动互联网用户行为分析引擎通过云计 算技术实现分布式并发的大规模计算能力,构建移动互联 网端到端的大数据挖掘分析系统.实现对DPI和应用平台 用户上网行为的...
移动互联网用户行为分析引擎通过云计 算技术实现分布式并发的大规模计算能力 , 构建移动互联 网端到端的大数据挖掘分析系统 , 实现对 DPI 和应用平台 用户上网行为...
移动云计算是云计算技术在移动互联网中的应用, 是未来云 计算发展的一个主要应用分支。用户通过移动云计算可以不受已有设 备局限的使用感兴趣的网络服务。 2.移动...
海量信息的处理,在目前技术下的高成本压力;云计算充分利用并 合理使用资源,降低... 移动互联网上网行为记录... 暂无评价 5页 2.00 物联网及移动互联网周报...
(中国民航机场建设集团公司科研基地 摘要互联网技术与移动通信技术的融合发展带动了新兴的经济体——移动互联网,而云计算“一切皆服务”的服务模式的提出,表明IT领域...
开发人员利用 Sun 平台创建托管应用与服务,并且不用到任何 中国移动通信有限公司研究院 -2- 互联网云计算与 P2P 技术研究报告 其它地方就可以利用这些应用程序和...
移动互联网环境下云计算安全浅析_互联网_IT/计算机_专业资料。移动互联网环境下云计算安全浅析“云计算技术与应用” 专题 移动互联网环境下云计算安全浅析房秉毅 ...
热门文档