6期许春玲等:机器学习算法的网络大数据级应用实践65
这些JVM之间通过网络通信协同工作实现两部分功能:并行计算、分布式存储,本文将这组JVM统组JVM,
称为守护JVM。有三个守护JVM负责对整个集群的管理,分别是管理计算的JobTracker、管理存储的Name-Node以及实现元数据备份的SecondaryNameNode。剩余的守护JVM接受来自以上三个守护JVM的指令负
共分两类,一类是执行并行计算的TaskTracker,另一类是执行存储的DataNode。责在本机执行作业,
Child只在作业进行守护JVM与ChildJVM的区别在于,①守护JVM从Hadoop启动之后就一直运行,
作业结束后Child也终止。从这个角度来看,守护JVM是hadoop的实体;②Child由守护JVM来控时运行,
制,包括启动或终止。图2,图3分别显示了Hadoop启动后状况以及Hadoop正在执行运算时的状况

。
表1
设备中央处理器内存硬盘以太网
计算机配置
规格
2.4GHZ2*4核ECCDDR34*4GBSATA250GB10G
图2Hadoop启动后运行的

JVM图3Hadoop执行计算时运行的JVM
目前Hadoop中可以调整的参数约160多项,本次实验根据平台实际情况调整了其中若干项。包括根据
每台计算机的中央处理器核数调整了单机运行mapchild以及reducechild的最大数量。以及为提高HDFS吞吐量改动了DataNode处理文件数量的上限。同时考虑到机架内部计算机之间的网络传输带宽高于不同
Hadoop系统设计从以下两方面提高性能,机架之间的网络传输带宽,一方面运行在各台计算机上的计算任务倾向于执行机架内的数据传输而非机跨机架数据传输;另一方面负责数据存储的HDFS依据网络状况智
能的放置数据块副本,以取得性能和灵活性的平衡。为达到以上效果先决条件是系统必须知道网络的拓扑我们根据指定格式创建一份文本文件描述集群中计算机-机架之间的映射关系,系统读入该文件根结构,
据映射关系构建网络拓扑结构。2.3
数据处理工具
本次实验的目标是针对大数据集的机器学习和预测,考虑到Hadoop在大数据处理领域的广泛应用,底层平台从一开始就选定使用Hadoop。因此在选择数据处理工具时主要针对基于HadoopMapReduce的数据2],Mahout是基于HadoopMapReduce开发的一组个对多种算法包括最初我们选择的是Mahout[处理工具,
多种机器学习算法的实现。经过实验发现虽然Mahout在算法上的针对性很强,但是结合底层平台的实际运行性能不高,在小数量级上运行顺利,处理大数据则会发生崩溃。崩溃点出现在所有计算机的硬盘容量全
3]部被耗用完时,这正是底层硬件平台的局限性能。Hive[虽然没有针对具体算法的实现,意味着要自己编写代码实现算法,但是Hive运行性能显著优于Mahout,另外Hive采用类SQL的查询语言HiveQL,用户只需
输入SQL命令系统就会转化为MapReduce任务由Hadoop执行,使用也非常方便。综合考虑底层平台特点和上层应用的需求,最终我们选择Hive作为数据处理工具。
3
3.1
实验
实验准备
4]实验的原始数据是NetflixPrize[提供的两个数据集,包括训练数据集和测试数据集。训练数据集是从Netflix网站1998年10月到2005年12月的电影评分数据中,随机抽样48万用户对1万7千多部电影的
参 考 文 献 【1】 许春玲 , 范志刚 , 宋应文. 机器学习算法的网络大数据级应用实践 叫. 网络新媒体技术 ,2012,06:63—69 【22 〕季文 天. 语义 we...
许春玲 1,张广泉 1, 2 (1. 苏州大学计算机科学...,确立了在互联网级的 跨数据中心集群计算的优势。 ...算法都由 Java 自带的算法实现,算法的集中性以 ...
许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...
许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...
许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...
热门文档