运用Hadoop/MapReduce 并行海量图像处理框架进行基于内容的海量图像检索, 将海量图像数据分 布式存储在众多节点上, 运用优化的ACCC 算法在各节点上进行基于内容的图像搜索分析算法一体 化处理, 通过与传统并行计算方法和单节点方法试验对比, 演示本方法在存储能力和计算检索效能 的优势
2014年第5期总第107期
福建广播电视大学学报
JournalofFujianRadio&TVUniversityNo.5,2014General,No.107
基于内容的Hadoop/MapReduce架构图像检索方法
蔡丽娟
(福建广播电视大学漳州分校,福建漳州,363000)
摘
要:运用Hadoop/MapReduce并行海量图像处理框架进行基于内容的海量图像检索,将海量图像数据分
布式存储在众多节点上,运用优化的ACCC算法在各节点上进行基于内容的图像搜索分析算法一体化处理,通过与传统并行计算方法和单节点方法试验对比,演示本方法在存储能力和计算检索效能的优势。
关键词:Hadoop/MapReduce;并行处理;图像处理中图分类号:TP3911.41
文献标识码:A
文章编号:1008-7346(2014)05-0041-09
基于内容的图像检索(CBIR)方法几十年来一直是海量图像检索与分析的研究热点,但由于海量图片数据量巨大,对计算能力要求极高,因此尚不能达到实时处理的能力,无法实现实际应用。[1]目前大多数的CBIR研究论文往往集中在研究算法的改进和局部应用实验方面上,如一种基于内容的联合查询图像检索系统已被
[2][3]
用于实现图像查询和相关特征反馈,该提出,
像处理框架基础上,提出了一种有效的颜色特—自动颜色相关图算法AutoColor征提取方法——
[7]
用于提取CorrelogramandCorrelation(ACCC),
图像低级特征,该方法与MapReduce计算架构有效结合到一起,显著提高了下检索不同来源图像相似性的能力。[8][9]
一、Hadoop/MapReduce架构
[1]
具备大型Hadoop采用开放式源代码框架,
系统虽然在准确性方面性能表现突出,但在处理海量图片数据时,单机基于多线程的架构无法满足实时要求,在效率方面不能令人满意。许多研究人员也试图通过使用分布式计算解决这个问题人
[6]
[4][5]
数据处理能力,其中的MapReduce分布式模型实现了资源虚拟化管理、调度和共享,是当今应用最为广泛的开源大数据编程平台。
为了简化系统,HDFS集群中只部署一个(选择相对性能较好的计算机),其余NameNode
节点各运行一个DataNode。当然,NameNode节点性能足够好,也可在该机上部署一个或多个DataNode。同理,同一物理机上的DataNode数量是没有规定的,只要计算机的存储能力能够满足要求。
如图1所示,HDFS采取的是主从架构,每个HDFS集群均有一个NameNode和多个DataN-ode。其中,NameNode为主服务器,负责管理
(例如利用集群计算),如陆永泉等
提出了一种并行计算方法进行图像特征提
取,并设计了基于集群架构的图像特征相似性比较方案。实验表明,该集群很好地提高了检索性能,但始终没有很好的解决系统高效存储和负载均衡的问题。
随着大数据Hadoop系统和MapReduce计算架构的出现,为海量图像高效存储和实时处理提供了可能。本文在Hadoop/MapReduce并行图
收稿日期:2014-08-30
作者简介:蔡丽娟,女,福建石狮人,福建广播电视大学漳州分校讲师。
·41·
热门文档