文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 计算机硬件及网络 > 机器学习算法的网络大数据级应用实践_许春玲
侵权投诉

机器学习算法的网络大数据级应用实践_许春玲

64网络新媒体技术2012年

图像等非结构化或半结构样做的带来的灵活性和多样性决定了hadoop在处理WEB大数据中的大量文本、

化数据具有优势。

2

2.1

Hadoop平台部署

硬件平台及其局限性

实验的硬件平台由网络连接的29台计算机组成,这些计算机分别属于两个机架,机架内部通过10GB的交换机连接。具体网络结构以及机器规格参照图1、表1。图表中需要注意的有两点①图中描绘的网络连接分两组,上半部是以太网下半部分是infiniband网络,而hadoop使用只有以太网;②每台计算机的本地硬盘容量仅250G,这个值远低于hadoop在2010中采用的典型规格4T。存在这些差异的原因是该硬件平台是为传统的超算应用搭建的,主要用于基于MPI的科学计算,本次实验是从原平台隔离出一部分作为Ha-doop平台。从实验效果来看,超算平台和Hadoop平台硬件架构标准还是有相当差异,尤其是以上提到的第二点,每台计算机硬盘容量的不足在很大程度上局限了后续计算工作的性能

机器学习算法的网络大数据级应用实践_许春玲

。

图1硬件平台网络结构

2.2平台实现与调优

我们在上述硬件平台的基础上部署并配置了Hadoop,启动之后可以看到的分布在不同的计算机上的一

上一页第2页

热门文档

相关文档

  • 基于大数据的Web服务传输方案的构建与实现

    参 考 文 献 【1】 许春玲 , 范志刚 , 宋应文. 机器学习算法的网络大数据级应用实践 叫. 网络新媒体技术 ,2012,06:63—69 【22 〕季文 天. 语义 we...

  • 基于主流云计算技术的集群三元空间提取方法

    许春玲 1,张广泉 1, 2 (1. 苏州大学计算机科学...,确立了在互联网级的 跨数据中心集群计算的优势。 ...算法都由 Java 自带的算法实现,算法的集中性以 ...

  • 1107a198736dbb3d

    许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...

  • 西安理工结构力学考研真题

    许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...

  • 西安理工结构力学考研真题

    许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email