文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 互联网 > 基于内容的Hadoop_MapReduce架构图像检索方法_蔡丽娟
侵权投诉

基于内容的Hadoop_MapReduce架构图像检索方法_蔡丽娟

运用Hadoop/MapReduce 并行海量图像处理框架进行基于内容的海量图像检索, 将海量图像数据分 布式存储在众多节点上, 运用优化的ACCC 算法在各节点上进行基于内容的图像搜索分析算法一体 化处理, 通过与传统并行计算方法和单节点方法试验对比, 演示本方法在存储能力和计算检索效能 的优势

2014年第5期总第107期

福建广播电视大学学报

JournalofFujianRadio&TVUniversityNo.5,2014General,No.107

基于内容的Hadoop/MapReduce架构图像检索方法

蔡丽娟

(福建广播电视大学漳州分校,福建漳州,363000)

摘

要:运用Hadoop/MapReduce并行海量图像处理框架进行基于内容的海量图像检索,将海量图像数据分

布式存储在众多节点上,运用优化的ACCC算法在各节点上进行基于内容的图像搜索分析算法一体化处理,通过与传统并行计算方法和单节点方法试验对比,演示本方法在存储能力和计算检索效能的优势。

关键词:Hadoop/MapReduce;并行处理;图像处理中图分类号:TP3911.41

文献标识码:A

文章编号:1008-7346(2014)05-0041-09

基于内容的图像检索(CBIR)方法几十年来一直是海量图像检索与分析的研究热点,但由于海量图片数据量巨大,对计算能力要求极高,因此尚不能达到实时处理的能力,无法实现实际应用。[1]目前大多数的CBIR研究论文往往集中在研究算法的改进和局部应用实验方面上,如一种基于内容的联合查询图像检索系统已被

[2][3]

用于实现图像查询和相关特征反馈,该提出,

像处理框架基础上,提出了一种有效的颜色特—自动颜色相关图算法AutoColor征提取方法——

[7]

用于提取CorrelogramandCorrelation(ACCC),

图像低级特征,该方法与MapReduce计算架构有效结合到一起,显著提高了下检索不同来源图像相似性的能力。[8][9]

一、Hadoop/MapReduce架构

[1]

具备大型Hadoop采用开放式源代码框架,

系统虽然在准确性方面性能表现突出,但在处理海量图片数据时,单机基于多线程的架构无法满足实时要求,在效率方面不能令人满意。许多研究人员也试图通过使用分布式计算解决这个问题人

[6]

[4][5]

数据处理能力,其中的MapReduce分布式模型实现了资源虚拟化管理、调度和共享,是当今应用最为广泛的开源大数据编程平台。

为了简化系统,HDFS集群中只部署一个(选择相对性能较好的计算机),其余NameNode

节点各运行一个DataNode。当然,NameNode节点性能足够好,也可在该机上部署一个或多个DataNode。同理,同一物理机上的DataNode数量是没有规定的,只要计算机的存储能力能够满足要求。

如图1所示,HDFS采取的是主从架构,每个HDFS集群均有一个NameNode和多个DataN-ode。其中,NameNode为主服务器,负责管理

(例如利用集群计算),如陆永泉等

提出了一种并行计算方法进行图像特征提

取,并设计了基于集群架构的图像特征相似性比较方案。实验表明,该集群很好地提高了检索性能,但始终没有很好的解决系统高效存储和负载均衡的问题。

随着大数据Hadoop系统和MapReduce计算架构的出现,为海量图像高效存储和实时处理提供了可能。本文在Hadoop/MapReduce并行图

收稿日期:2014-08-30

作者简介:蔡丽娟,女,福建石狮人,福建广播电视大学漳州分校讲师。

·41·

第1页

你可能喜欢

热门文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email