云计算技术与应用,移动互联网,数据中心
“聚焦2011国际通信展”专题
移动互联网接入的结合,正不断改变着人们的生活,从而可随时随地享受互联网带来的快乐。来自中国互联网信息中心的数据,截至2010年底,中国有3.03亿用户使用手机上网,较去年增加了2.3亿,手机上网用户如此高速的增长,给运营商带来了丰厚回报,同时也伴随着一些严重的问题:用户手机流量的突破性增长给运营商的运营支撑系统带来了严峻的挑战,用户的手机上网产生了大量的上网日志,根据某运营商某省公司数据显示,每天用来记录用户上网行为的数据达到了1T;而随着用户消费意识的不断增强,用户对自己上网的流量也越来越关心,他们关心自己流量的使用情况、所使用的流量明细,就像对语音和短信一样,需要明明白白的消费,面对这些海量数据查询,传统的数据库已经很难支撑现有的应用。本文将以用户上网记录查询系统为例来讲述分布式文件系统和分布式数据库在运营商BSS中的应用。
它的文件内容和目录结构都不是存储在本地磁盘上,而是通过网络传输到远端系统上。并且,同一个文件存储不只是在一台机器上,而是在一簇机器上分布式存储,协同提供服务,正所谓分布式。
因此,考量一个分布式文件系统的实现,其实不妨可以从这两方面来分别剖析,而后合二为一。首先,看它如何去实现文件系统所需的基本增、删、改、查的功能;然后,看它如何考虑分布式系统的特点,提供更好的容错性、负载平衡等。这二者合二为一,就明白了一个分布式文件系统整体的实现模式。
2.2 分布式计算
分布式计算,同样是一个宽泛的概念,在这里,它狭义的指代按Google Map/Reduce框架所设计的分布式框架。分布式文件系统,很大程度上,是为各种分布式计算需求所服务的。其实分布式文件系统就是加了分布式的文件系统,类似的定义推广到分布式计算上,我们可以将其视为增加了分布式支持的计算函数。Map/
2 分布式上网记录查询系统的关键技术
所谓分布式,在这里,很狭义的指代以Google的三驾马车GFS,Map/Reduce,BigTable为框架核心的分布式存储和计算系统。Hadoop是一个基于Java实现的、开源的、分布式存储和计算的项目。作为这个领域最富盛名的开源项目之一,它的使用者也是大牌如云,包括Yahoo,Amazon,Facebook等。Hadoop本身,实现的是分布式的文件系统HDFS,和分布式的计算(Map/Reduce)框架。此外,Hadoop包含一系列扩展项目,包括了分布式文件数据库HBase(所对应Google的BigTable)、分布式协同服务ZooKeeper(对应Google的Chubby),等等。
Reduce框架接受各种格式的键值对文件作为输入/读取计算后,最终生成自定义格式的输出文件。而从分布式的角度上看,分布式计算的输入文件往往规模巨大,且分布在多个机器上,单机计算完全不可支撑且效率低下,因此Map/Reduce框架需要提供一套机制,将此计算扩展到无限规模的机器集群上进行。MapReduce将复杂运行于大规模集群上的并行计算过程,高度地抽象到了两个函数:Map和 Reduce,这是一个令人惊讶的简单却又威力巨大的模型。适合用 MapReduce来处理的数据集(或任务)有一个基本要求:待处理的数据集可以分解成许多小的数据集,而且每一个小数据集都可以完全并行地进行处理。

2.1 分布式文件系统
分布式文件系统,在整个分布式系统体系中处于最低层最基础的地位。顾名思义,分布式文件系统就是分布式+文件系统。它包含这两个方面的内涵,从文件系统客户使用的角度来看,它就是一个标准的文件系统,提供了一系列API,由此进行文件或目录的创建、移动、删除以及对文件的读写等操作。从内部实现来看,分布式的系统则不再和普通文件系统一样负责管理本地磁盘,
图1 MapReduce计算流程
责任编辑:吴竹立 wuzhuli@mbcom.cn
2011年第17期
19
文章从分布式计算技术角度出发,分析了移动互联网上网行...
移动互联网上网行为记录... 5页 1下载券 移动...研究团队:Sevan 云计算云计算与网格计算 ”云计算“...云计算也是有其技术来源的,其概念来自于网格计算。 ...
互联网用户行为分析引擎通过云计 算技术实现分布式并发的大规模计算能力 ,构建移动互联 网端到端的大数据挖掘分析系统 ,实现对 DPI 和应用平台 用户上网行为的偏好...
设计的移动互联网用户行为分析引擎通过云计 算技术实现分布式并发的大规模计算能力,构建移动互联 网端到端的大数据挖掘分析系统.实现对DPI和应用平台 用户上网行为的...
移动互联网用户行为分析引擎通过云计 算技术实现分布式并发的大规模计算能力 , 构建移动互联 网端到端的大数据挖掘分析系统 , 实现对 DPI 和应用平台 用户上网行为...
移动云计算是云计算技术在移动互联网中的应用, 是未来云 计算发展的一个主要应用分支。用户通过移动云计算可以不受已有设 备局限的使用感兴趣的网络服务。 2.移动...
海量信息的处理,在目前技术下的高成本压力;云计算充分利用并 合理使用资源,降低... 移动互联网上网行为记录... 暂无评价 5页 2.00 物联网及移动互联网周报...
(中国民航机场建设集团公司科研基地 摘要互联网技术与移动通信技术的融合发展带动了新兴的经济体——移动互联网,而云计算“一切皆服务”的服务模式的提出,表明IT领域...
开发人员利用 Sun 平台创建托管应用与服务,并且不用到任何 中国移动通信有限公司研究院 -2- 互联网云计算与 P2P 技术研究报告 其它地方就可以利用这些应用程序和...
移动互联网环境下云计算安全浅析_互联网_IT/计算机_专业资料。移动互联网环境下云计算安全浅析“云计算技术与应用” 专题 移动互联网环境下云计算安全浅析房秉毅 ...
热门文档