第2 3卷
第 2期
计算机技术与发展 COMPU r ER T ECHNOL OGY AND DEVE LOP MENT
2 0 1 3年 2月
Vo 1 . 2 3 No . 2 Fe b. 201 3
基于云计算的海量数据挖掘研究 贺瑶,王文庆,薛飞 ( 1 .西安邮电大学管理工程学院,陕西西安 7 1 0 0 6 1; 2 .西安邮电大学自动化学院,陕西西安 7 1 0 0 6 1 ) 摘要:为了实现高效率低成本的海量数据挖掘,为企业决策提供参考,提出了基于云计算的海量数据挖掘模型。该模型
中海量数据的处理和存储都是在云计算环境中进行的,首先对海量的数据进行一定的预处理,形成结构一致的数据后,应用云计算平台上的 Ma p R e d u c e模型进行高效的并行数据处理,最后得到所需的数据挖掘结果。基于云计算的海量数据挖
掘的效率明显高于传统的数据挖掘,并且数据挖掘结果的准确性有了一定的提高,而且随着数据量的增多,该模型的优势 会愈发明显。 关键词:云计算;数据挖掘;海量数据; Ma p R e d u c e;数据预处理中图分类号: T P 3 1 文献标识码: A 文章编号: 1 6 7 3— 6 2 9 X( 2 0 1 3 ) 0 2 - 0 0 6 9 - 0 4
d o i: 1 0 . 3 9 6 9/ j . i s s n . 1 6 7 3— 6 2 9 X . 2 0 1 3 . 0 2 . 0 1 7
S t u d y o f Ma s s i v e Da t a Mi n i n g Ba s e d o n Cl o u d Co mp u t i n g HE Ya o, W ANG We n— q i ng, XUE Fe i
( 1 . S c h o o l o f Ma n a g e me n t E n g i n e e r i n g, Xi" a n Un i v e r s i t y o f P o s t&T e l e c o mm u n i c a i t o n, x i饥 7 1 0 0 6 1, C h i n a; 2 . S c h o o l o f A u t o ma i t o n, Xi" n a Un i v e r s i t y o f P o s t&T e l e c o m mu n i c a t i o n, Xi ' a n 7 1 0 0 6 1, C h i n a ) Ab s t r a c t: I n o
r d e r t O a c h i e v e h i g h e f f i c i e n c y a n d l o w c o s t o f ma s s i v e d a t a mi n i n g, nd a p r o v i d e d e c i s i o n r e f e r e n c e s f o r e n t e r p r i s e, t h e mo d - e l o f ma s s i v e d a t a mi n i n g b se a d o n c l o u d c o mp u i t n g h s a be e n p r o p o s e d . Th e ma s s i v e d a t a ̄ s p r o c e s s i n g nd a s t o r a g e o f he t mo d e l we e r c a r - ie r d o n t h e c l o u d c o mp u i t n g e n v i r o n me n t . F i r s t l y, t a k e s o me c e r t a i n p ep r r o c e s s i n g f o r he t ma s s i v e d a t a t o f o r m d a a t wi h t t h e s a me s t mc— t u r e . T he n, u s e he t Ma p Re d u c e mo de l o n he t c l o u d c o mp u t i n g p l a t f o m r t O p a r a l l e l l y p r o c e s s he t d a t a e ic f i e n t l y . F i n a l l y, g e t he t n e e d e d e— r s u i t o f d a t a mi n i n g . Th e e ic f i e n c y o f ma ss i v e d a t a mi n i n g ba se d o n c l o u d c o mp u t i n g i s c l e rl a y h i g h e r t h n a t r a d i t i o n l a d a a t in m i n g . Me n— a wh i l e, he t a c c u r a c y o f d a a t i n m i n g wi l l b e i mp r o v e d . Al o n g wi h t he t i n c r e a s e o f d a t a, t h e a d v a n t a g e o f he t mo d
e l wi l l i n c ea r s i n g l y o b v i - OUS.
Ke y wo r d s: c l o u d c o mp u i t n g; da t a mi n i n g; ma s s i v e d a t a; Ma p Re d u c e; d a t a p r e p r o c e s s i n g
O 引言 近年来,随着信息技术的高速发展,如今每 l 8个月产生的数据量大约等于过去几千年产生的总和,并且有不断增加的趋势。如此多的数据无疑能为人们带来广阔的信息量,但需要从海量数据中发现对企业或个人有用知识的难度随之增加。而云计算平台能够进行动态资源调度和分配、具有高度虚拟化和高可用性等特点,正好能满足高效数据挖掘的需求]。将云计算技术与现有的数据挖掘技术进行有效结合不失为一
种可行的途径。文献[ 2]就是在 G o o g l e A p p E n g i n e平 台提出了一个并行数据挖掘模型,并通过实验得出基
于云计算平台的数据挖掘系统执行的效率要比单机系 统高,随着数据量的增大,效率优势越明显。文中提出 的基于云计算的数据挖掘模型,就是要为不同企业提
供高效便捷的数据挖掘服务,用来提高企业生产工作 效率及降低成本。
l 云计算 1 . 1云计算的定义
收稿日期: 2 0 1 2— 0 6— 2 4;修回日期: 2 0 1 2— 0 9— 2 6
云计算从发起至今,还没有一个统一的定义。
基金项目:国家自然科学基金资助项目( 6 1 1 0 0 1 6 5/ F 0 2 0 5 0 8 );陕西 省自然科学基金 ( 2 0 0 7 F 1 8 )
维基百科中对云计算的定义如下:云计算是一种能够通过互联网为用户提供服务的计算模式,它提供的主 要是能够进行动态伸缩的虚拟化了的资源,用户不需要了解如何管理那些支持云计算的基础设施。简单来说,云计算是一种新颖的商业模式,它使用大量廉价
作者简介:贺
瑶( 1 9 8 7一 ),女,陕西榆林人,硕士,研究方向为信息
管理;王文庆,教授,研究方向为智能信息处理、信息系统分析、复杂 系统结构分析与鲁棒控制。

-开题报告-基于云计算的海量数据挖掘算法研究_军事/政治_人文社科_专业资料。在职攻读硕士学位研究生开题报告 学 号 : □高校教师√工程硕士□同等学历 研究生...
何清:各位上午好,我报告的题目是“基于云计算的海量数据挖掘”。这个题目是前一段在中国移动的实践,以及后来有关基于 云计算挖掘的研究来做出的。首先我谈一下...
2013 COMPUTER TECHNOLOGY AND DEVELOPMENT 基于云计算的海量数据挖掘研究 (1. 西安邮电大学 管理工程学院,陕西 西安 710061; 2. 西安邮电大学 自动化学院,陕西 ...
海量 数据存 储 和挖 掘是一个具有理论 和应 用价值的研究领域 . 文在云 本计算开源框架下对虚拟银行提出海量数据挖掘算法 和应用并给出 了实 施步骤 1 Ha...
基于云计算的海量数据挖掘何清 清 中国科学院计算技术研究所 中 科学院计算技术 究所 http://js.caseducation.cn/JS/ heqing http://js caseducation cn/JS...
云计算下的海量数据挖掘研究云计算下的海量数据挖掘研究隐藏>> \、!竺兰兰兰云计算下的海量数据挖掘研究王 鄂1 。 李 铭2 (1.大连理工大学软件学院,大连...
研究与开发 云计算下的海量数据挖掘研究王 鄂1 ,李铭2 (1. 大连理工大学软件学院, 大连 116620 ; 2. 英国南安普顿大学, 南安普顿 SO17 1JB) 摘要: 云计算...
基于云计算及数据挖掘技术的海量数据处理研究_信息与通信_工程科技_专业资料。第3 6 卷第 6期 2013年1 2月 长 春理 工大 学学报 ( 自然科学版 ) Journal...
云计算下的海量 数据挖掘研究 关键词-云计算;数据挖掘;Hadoop;SPRINT;MapReduc 云计算的出现为愈来愈多的中小企业分析海量数据 提供廉价的解决方案。在介绍基于云...
具体表现在:云计算的动态和可伸缩的计算能力为高效海量数据挖掘带来可能性; 云计算环境下大众参与的群体智能为研究集群体智慧的新的数据挖掘方法研究提供 了环境;云...
热门文档