文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 信息与通信 > 基于Hadoop云计算平台的大规模图像检索方案
侵权投诉

基于Hadoop云计算平台的大规模图像检索方案

J o u r n a l o f Co mp u t e r Ap p l i c a t i o n s

I S SN 1 0 01 . 9 081

201 4. 03 .1 O

计算机应用, 2 0 1 4, 3 4 ( 3 ): 6 9 5— 6 9 9 文章编号: 1 0 0 1— 9 0 8 1 ( 2 0 1 4 ) 0 3 . 0 6 9 5 . 0 5

C ODE N J Y I I DU

h t t p:// w w w . j o c a . c a

d o i: 1 0 . 1 1 7 7 2/ j . i s s n . 1 0 0 1— 9 0 8 1 . 2 0 1 4 . 0 3 . 0 6 9 5

基于 Ha d o o p云计算平台的大规模图像检索方案 朱为盛,王鹏。 ( 1 .中国科学院成都计算机应用研究所,成都 6 1 0 0 4 1; 2 .中国科学院大学,北京 1 0 0 0 4 9; 3 .成都信 gi程学院并行计算实验室,成都 6 1 0 2 2 5 )

(¥通信作者电子邮箱 z h u - w e i s h e n g@1 6 3 . c o n 1 )

摘

要:针对传统图像检索方法在处理海量图像数据时面临困扰的问题,提出了一种基于传统视觉词袋 ( B o V W)

模型和 M a p R e d u c e计算模型的大规模图像检索( MR— B o V W)方案。该方案充分利用了 H a d o o p云计算平台海量存储能力和强大的并行计算能力。为了更好地处理图像数据,首先引入一种改进的 H a d o o p图像数据处理方法,在此基础上分特征向量生成、特征聚类、图片的向量表示与倒排索引构建三个阶段 Ma p R e d u c e化。多组实验表明, M R. B o V W方案具有优良的加速比、扩展率以及数据伸缩率,效率均大于 0 . 6 2,扩展率以及数据伸缩率曲线平缓,适于大规模图 像检索。

关键词:云计算; H a d o o p; Ma p R e d u c e;图像检索;视觉词袋模型 中图分类号: T P 3 9 1 . 3; T P 3 1 1 . 1 文献标志码: A

La r g e— s c a l e i ma g e r e t r i e v a l s o l u t i o n ba s e d o n Ha do o p c l o u d c o m pu t i ng p l a t f o r m ZHU We i s h e n g , ,W ANG Pe ng。 ( 1 .C h e n g d u l mt i t ̄e o f C o m

p u t e r A p p l i c a t i o n,C h i n e s e A c a d e m y fS o c i e n c e s,C h e n g d u S i c h u a n 6 1 0 0 4 1,C h i a; n 2 .U n i v e r s i t y f o C h i n e s e A c a d e m y f o S c i e n c e s,B e n g 1 0 0 0 4 9,C h i n a; 3 .P a r a l l e l C o m p u t i n g L a b o r a t o r y,C h e n g d u U n i v e m i ̄o f I n f o r m a t i o n T e c h n o l o g y,C h e n g d u S i c h u a n 6 1 0 2 2 5,C h i n a ) Ab s t r a c t:C o n c e ni r n g t h a t t h e t r a d i t i o n a l i ma g e r e t r i e v l a me t h o d s a r e c o n f r o n t e d wi t h ma s s i v e i ma g e d a t a p r o c e s s i n g p r o b l e ms,a n e w s o l u t i o n f o r l a r g e s c a l e i ma g e r e t i r e v l,n a a me d MR— B o VW,w a s p r o p o s e d,w h i c h w a s b a s e d o n t h e t r a d i t i o n l a

B a g o f Vi s u l a Wo r d s( B VW)a p p r o a c h a n d Ma p Re d u c e mo d e l t o t a k e a d v a n t ge a o f t h e ma s s i v e s t o r a g e c a p a c i t y a n d p o w e r f u l p a r ll a e l c o mp u t i n g a b i l i t y o f Ha d o o p .T o h a n d l e i ma g e d a t a we l l,f i r s l t y a n i mp r o v e d me t h o d f o r Ha d o o p i ma g e p r o c e s s i n g Wa s i n t r o d u c e d,a n d t h e n,t h e Ma p Re d u c e l a y o u t w a s d i v i d e d

i n t o t h r e e s t a g e s:f e a t u r e v e c t o r g e n e r a t i o n,f e a t u r e c l u s t e i r n g, i ma g e r e p r e s e n t a t i o n a n d i n v e r t e d i n d e x c o n s t r u c t i o n .T h e e x p e i r me n t a l r e s u l t s d e mo n s t r a t e t h a t t h e MR— B o VW s o l u t i o n s h o ws g o o d p e r f o r ma n c e o n s p e e d u p,s c a l e u p,a nd s i z e u p .I n f a c t,t h e e ic f i e n c y r e s u l t s a r e a l l g r e a t e r t h a n 0 . 6 2,a n d t h e c u r v e o f s c le a u p a n d s i z e u p i s g e n t l e .T h u s i t i s s u i t a b l e or f l a r g e - s c a l e i ma g e r e t i r e v a 1 .

Ke y wo r d s:c l o u d c o m p u t i n g;H a d o o p;M a p R e d u c e;i m a g e r e t r i e v l;B a a g o f V i s u l a Wo r d s( B o V W)mo d e l

0 引言 随着互联网的高速发展,数据日益呈现出海量化、多媒体化的趋势。如何对海量多媒体信息进行快速的检索已经成为亟待解决的重要问题。在图像检索领域,视觉词袋 ( B a g o f

靠性以及低成本的优势受到产业界的推崇,涌现出了大量商

业应用。但是 H a d o o p最初是针对大规模文本数据处理设计的,内部数据类型有限,不能直接处理多媒体数据。针对这一 问题,已有学者进行了一些研究,但相对文本处理来说较少, 并且存在一定的局限性。

V i s u l a Wo r d s, B o V W)模型因其模型简单计算复杂度较低却 具有良好的性能,并与文本分析中的词袋 ( B g a o f Wo r d s, B o W)模型有很大的相似性,文本检索中很多相对成熟的技术

本文在对 Ha d o o p图像数据

处理方法和视觉词袋模型两 个方面进行深入分析之后,提出了一种基于 H a d o o p的大规模

图像检索方案 ( Ma p R e d u c e— B o V W,MR— B o V W)。首先,针对现有 Ha d o o p图像数据处理方法的不足引入了一种改进的方 法。为了避免小文件低效率问题,参考序列文件方法合并文

如倒排索引等都可以用在图像检索领域,而受到很多学者的关注。但是传统的串行处理模式无法完成大规模的图像数据处理,探索新的处理模式已经成为该领域的一个研究热点。 近年来云计算发展迅速,其发展过程一直与大规模数据处理密切相关,因此利用云计算平台高效地处理大规模图像 数据的检索问题是一个非常有潜力的方向。H a d o o p云计算

件的思想将大量小图像文件存入一个大的图像库文件中,但是存储的方式不再是序列化的键值对或者 F l o a t数组,而是原

始图片的所有信息。为了方便读写多种类型的图像数据并充 分利用现有的 J a v a图像处理类库,利用 I ma g e I O、

平台以其优秀的大规模数据处理能力、良好的可扩展性和可 收稿日期: 2 0 1 3— 0 8 - 2 6;修回日期: 2 0 1 3 - 1 0 - 2 0。

B u f f e r e d l ma g e等来实现图像库文件的读写,并引入一个索引

基金项目:国家自然科学基金资助项目( 6 0 7 0 2 0 7 5 );四川省青年科学基金前期资助项目

( 0 9 z Q 0 2 6— 0 6 8 );四川省教育厅自然科学重点项目( 0 7 Z A 0 1 4 )。 作者简介:朱为盛 ( 1 9 8 6一 ),男,浙江温州人,硕士研究生,主要研究方向:云计算、多媒体内容分析;王鹏 ( 1 9 7 5一),男,四川乐山人,教授,博士生导师,博士, C C F高级会员,主要研究方向:云计算、并行计算。

基于Hadoop云计算平台的大规模图像检索方案

第1页

你可能喜欢

热门文档

相关文档

  • 【论文】基于Hadoop云计算平台的图像分类与标注

    基于Hadoop云计算平台的图像分类与标注_计算机软件及应用_IT/计算机_专业资料。研究与开发 基于 Hadoo p云计算 平 台的 图像分 类 与标 注 陆 寄远 ’, 黄...

  • 基于云计算模式的图像检索研究

    10 期 基于云计算模式的图像检索研究 1535 加入描述...的注释结构与关键字段, 缺乏描述图像的统一方案, ...(Google File System) 5】和 Hadoop 开发团队开 ...

  • 基于Hadoop的云计算平台搭建 毕业设计翻译译文

    百度文库_文档分享平台 新闻网页贴吧知道音乐图片视频地图百科文库 ... 华夏云计算解决方案(定稿... 13页 免费 Hadoop云计算平台实验报... 30页 ...

  • 基于Hadoop的海量电信数据云计算平台研究

    百度文库_文档分享平台 新闻网页贴吧知道音乐图片视频... 基于Hadoop的海量电信数据云计算平台研究_计算机软件...海量数据 的速度和效率,是低成本的云计算解决方案。...

  • 基于Hadoop平台的并行数据挖掘算法工具箱与数据挖掘云(...

    百度文库_文档分享平台 新闻网页贴吧知道音乐图片视频... 基于Hadoop平台的并行数据挖掘算法工具箱与数据挖掘...应用IBM的云计算方案建立起一个企业云计 算平台。...

  • 基于Hadoop的云计算平台安全机制研究

    百度文库_文档分享平台 新闻网页贴吧知道音乐图片视频... 基于Hadoop的云计算平台安全机制研究_教学研究_教育...者在决定是否实施基 于 Hadoop 的解决方案时有所...

  • Hadoop云计算平台搭建方案2.1

    百度文库_文档分享平台 新闻网页贴吧知道音乐图片视频地图百科文库 ... Hadoop云计算平台搭建方案2.1_计算机软件及应用_IT/计算机_专业资料。Hadoop ...

  • 基于Hadoop平台的图像分类

    1.3 基于Hadoop平台的图像分类基于Hadoop集群的图像分类 Hadoop工作流程 在图像分类中,大数据量处理主要是提取图像 的描述特征向量、计算图像特征值之间的相似性值 ...

  • 基于Hadoop平台的并行数据挖掘算法工具箱与数据挖掘云

    百度文库_文档分享平台 新闻网页贴吧知道音乐图片视频... 基于Hadoop平台的并行数据挖掘算法工具箱与数据挖掘...应用 IBM 的云计算方案建立起一个企业云计算平台。...

  • 基于Hadoop的云计算模型

    模型用户将要计算的任务提交给云计算的平台 Hadoop。...图像处理、大规模数据处理等领域有着广泛的应用 前景...海量数据提供廉价的解决方案.在介绍基于云计算的...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email