文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 计算机硬件及网络 > 机器学习算法的网络大数据级应用实践_许春玲
侵权投诉

机器学习算法的网络大数据级应用实践_许春玲

6期许春玲等:机器学习算法的网络大数据级应用实践65

这些JVM之间通过网络通信协同工作实现两部分功能:并行计算、分布式存储,本文将这组JVM统组JVM,

称为守护JVM。有三个守护JVM负责对整个集群的管理,分别是管理计算的JobTracker、管理存储的Name-Node以及实现元数据备份的SecondaryNameNode。剩余的守护JVM接受来自以上三个守护JVM的指令负

共分两类,一类是执行并行计算的TaskTracker,另一类是执行存储的DataNode。责在本机执行作业,

Child只在作业进行守护JVM与ChildJVM的区别在于,①守护JVM从Hadoop启动之后就一直运行,

作业结束后Child也终止。从这个角度来看,守护JVM是hadoop的实体;②Child由守护JVM来控时运行,

制,包括启动或终止。图2,图3分别显示了Hadoop启动后状况以及Hadoop正在执行运算时的状况

机器学习算法的网络大数据级应用实践_许春玲

。

表1

设备中央处理器内存硬盘以太网

计算机配置

规格

2.4GHZ2*4核ECCDDR34*4GBSATA250GB10G

图2Hadoop启动后运行的

机器学习算法的网络大数据级应用实践_许春玲

JVM图3Hadoop执行计算时运行的JVM

目前Hadoop中可以调整的参数约160多项,本次实验根据平台实际情况调整了其中若干项。包括根据

每台计算机的中央处理器核数调整了单机运行mapchild以及reducechild的最大数量。以及为提高HDFS吞吐量改动了DataNode处理文件数量的上限。同时考虑到机架内部计算机之间的网络传输带宽高于不同

Hadoop系统设计从以下两方面提高性能,机架之间的网络传输带宽,一方面运行在各台计算机上的计算任务倾向于执行机架内的数据传输而非机跨机架数据传输;另一方面负责数据存储的HDFS依据网络状况智

能的放置数据块副本,以取得性能和灵活性的平衡。为达到以上效果先决条件是系统必须知道网络的拓扑我们根据指定格式创建一份文本文件描述集群中计算机-机架之间的映射关系,系统读入该文件根结构,

据映射关系构建网络拓扑结构。2.3

数据处理工具

本次实验的目标是针对大数据集的机器学习和预测,考虑到Hadoop在大数据处理领域的广泛应用,底层平台从一开始就选定使用Hadoop。因此在选择数据处理工具时主要针对基于HadoopMapReduce的数据2],Mahout是基于HadoopMapReduce开发的一组个对多种算法包括最初我们选择的是Mahout[处理工具,

多种机器学习算法的实现。经过实验发现虽然Mahout在算法上的针对性很强,但是结合底层平台的实际运行性能不高,在小数量级上运行顺利,处理大数据则会发生崩溃。崩溃点出现在所有计算机的硬盘容量全

3]部被耗用完时,这正是底层硬件平台的局限性能。Hive[虽然没有针对具体算法的实现,意味着要自己编写代码实现算法,但是Hive运行性能显著优于Mahout,另外Hive采用类SQL的查询语言HiveQL,用户只需

输入SQL命令系统就会转化为MapReduce任务由Hadoop执行,使用也非常方便。综合考虑底层平台特点和上层应用的需求,最终我们选择Hive作为数据处理工具。

3

3.1

实验

实验准备

4]实验的原始数据是NetflixPrize[提供的两个数据集,包括训练数据集和测试数据集。训练数据集是从Netflix网站1998年10月到2005年12月的电影评分数据中,随机抽样48万用户对1万7千多部电影的

上一页第3页

热门文档

相关文档

  • 基于大数据的Web服务传输方案的构建与实现

    参 考 文 献 【1】 许春玲 , 范志刚 , 宋应文. 机器学习算法的网络大数据级应用实践 叫. 网络新媒体技术 ,2012,06:63—69 【22 〕季文 天. 语义 we...

  • 基于主流云计算技术的集群三元空间提取方法

    许春玲 1,张广泉 1, 2 (1. 苏州大学计算机科学...,确立了在互联网级的 跨数据中心集群计算的优势。 ...算法都由 Java 自带的算法实现,算法的集中性以 ...

  • 1107a198736dbb3d

    许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...

  • 西安理工结构力学考研真题

    许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...

  • 西安理工结构力学考研真题

    许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email