64网络新媒体技术2012年
图像等非结构化或半结构样做的带来的灵活性和多样性决定了hadoop在处理WEB大数据中的大量文本、
化数据具有优势。
2
2.1
Hadoop平台部署
硬件平台及其局限性
实验的硬件平台由网络连接的29台计算机组成,这些计算机分别属于两个机架,机架内部通过10GB的交换机连接。具体网络结构以及机器规格参照图1、表1。图表中需要注意的有两点①图中描绘的网络连接分两组,上半部是以太网下半部分是infiniband网络,而hadoop使用只有以太网;②每台计算机的本地硬盘容量仅250G,这个值远低于hadoop在2010中采用的典型规格4T。存在这些差异的原因是该硬件平台是为传统的超算应用搭建的,主要用于基于MPI的科学计算,本次实验是从原平台隔离出一部分作为Ha-doop平台。从实验效果来看,超算平台和Hadoop平台硬件架构标准还是有相当差异,尤其是以上提到的第二点,每台计算机硬盘容量的不足在很大程度上局限了后续计算工作的性能

。
图1硬件平台网络结构
2.2平台实现与调优
我们在上述硬件平台的基础上部署并配置了Hadoop,启动之后可以看到的分布在不同的计算机上的一
参 考 文 献 【1】 许春玲 , 范志刚 , 宋应文. 机器学习算法的网络大数据级应用实践 叫. 网络新媒体技术 ,2012,06:63—69 【22 〕季文 天. 语义 we...
许春玲 1,张广泉 1, 2 (1. 苏州大学计算机科学...,确立了在互联网级的 跨数据中心集群计算的优势。 ...算法都由 Java 自带的算法实现,算法的集中性以 ...
许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...
许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...
许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...
热门文档