hadoop hdfs 云计算
2010 年 第19卷 第 12 期 计 算 机 系 统 应 用
宁可为 王 炜 李园伟 (新疆师范大学 教育科学学院 新疆 乌鲁木齐 830054)
摘 要: 介绍了Hadoop开源框架、Map/Reduce编程模型以及语句相似度计算原理,利用Hadoop框架下
的Map/Reduce编程模型实现了句群相似度并行计算方法。通过实验验证了该算法的稳定性和处理大量数据的可行性。
关键词: Hadoop;句群相似度;Map/Reduce
基于Hadoop的句群相似度计算
①
Calculation of Sentence Group Similarity Based on Hadoop
NING Ke-Wei, WANG Wei, LI Yuan-Wei
(College of Educational Science, Xinjiang Normal University, Urumqi 830054, China)
Abstract: Based on the introduction of Open Source Framework of Hadoop, encoded pattern of Map/Reduce and the
calculated formula of sentence similarity, the present paper adopts the method of sentence group similarity parallel computing to the encoded pattern of Map/Reduce in terms of Hadoop. And it verifies the stability and feasibility of dealing with tremendous data.
Keywords: Hadoop; sentence group similarity; Map/Reduce
1 引言
随着互连网的飞速发展,网上信息呈爆炸式增长,任何一个用户都可能拥有海量的信息。由于晶体管电路已经逐渐接近其物理性能极限,人类再也不能期待单个CPU的速度每隔18个月就翻一倍,为我们提供越来越快的计算性能[1]。面对海量信息,基于大规模计算机集群的分布式并行编程是将来软件性能提升的主要途径。其最大优点是可以很容易通过增加计算机来扩充新的计算结点,并由此获得不可思议的海量计算能力,同时又具有相当强的容错能力,一批计算结点失效也不会影响计算的正常进行以及结果的正确性。
本文的背景是在“基于开放域的中文自动答疑系统的研究”课题研究中需要在海量知识库文件匹配出与用户所提问题的答案,而单一服务器去处理不仅影响用户体验,当用户访问量大时甚至引起服务器宕机,因而需要寻求一种简便、可行、有效的并行计算方法。
2 Hadoop概述
Hadoop[2]是一个被设计用来在由普通硬件设备组成的大型群集上执行分布式应用的框架,其框架核心包含一个分布式文件系统 HDFS(Hadoop Distributed File System)和一个Map/Reduce编程模型。借助于Hadoop程序员可以轻松地编写分布式并行程序,将其运行于计算机集群上,完成海量数据的计算。
2.1 分布式文件系统 HDFS(Hadoop Distributed File System)
Hadoop分布式文件系统(Hadoop Distributed File System)是一个基于master/slave的结构的可靠存储大数据集的文件系统,其架构如图1所示。HDFS由一个管理结点(Namenode)和N个数据结点(Datanode)组成,其每个结点均是一台普通的计算机,在master上运行的Namenode管理着整个分布式文件系统,对文件系统的操作(如建立、删除文件和
① 基金项目:全国教育科学“十一五”规划课题 (CA070275);新疆师范大学研究生科技创新项目(20091106)
收稿时间:2010-04-03;收到修改稿时间:2010-05-06
Research and Development 研究开发59
基于Hadoop的句群相似度计算 介绍了Hadoop开源框架、Map/Reduce编程模型以及语句相似度计算原理,利用Hadoop框架下的Map/Reduce编程模型实现了句群相似度并行计算方法。...
基于MapReduce架构的文档相似度计算方法_计算机软件及应用_IT/计算机_专业资料。... 基于MapReduce架构的文档... 2页 1下载券 基于Hadoop的句群相似度... 5页...
Hadoop在相似度计算中的优化林述民 @人人游戏/大数据研究组 2013年 4月 互联网广告作弊的经济驱动广告位 100% 展示 10% 点击 0.3% 注册 0.3% 付费 0....
表示模型为索引,结合原文形成一组能代表文本主题的关键句群,计 算文本的表层相似性、语义相似性及词序对相似度的影响因子,将这些方法 做加权和生成两文本的相似度...
基于Hadoop平台协同过滤推荐算法①_互联网_IT/计算机_专业资料。计算机系统应用 ...对于基于项目的协同过滤推荐算法的 主要计算集中在项目相似度计算和预测评分计算两...
基于Hadoop平台的海量文本分类的并行化_互联网_IT/计算机_专业资料。云计算开发...算 法— —TIF分类算法, 一种基于向量空间模型的分类算法,op 它用余弦相似度...
基于Hadoop平台协同过滤推荐算法_杨志文_计算机软件及应用_IT/计算机_专业资料。...对于基于项目的协同过滤推荐算法的 主要计算集中在项目相似度计算和预测评分计算两...
最近邻查询采用贝叶斯概率分析目标用户的特征属性构成邻居 集, 使用灰色关联度度量算法中的相似度, 并以 Hadoop 平台实 现算法的分布式计算,从而以较高的执行效率和...
将文件分块计 使得 MapReduce 对项目相似度计算无能为力。 算, 因此, 传统的协同过滤算法在 Hadoop 平台上没有 可行性, 这就要求研究者设计新的协同过滤算法以...
热门文档