文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 计算机硬件及网络 > 机器学习算法的网络大数据级应用实践_许春玲
侵权投诉

机器学习算法的网络大数据级应用实践_许春玲

6期许春玲等:机器学习算法的网络大数据级应用实践67

training_result_probe、predict_Result_probe的基础上进一步做规约操作得到的结果;②由于数据量过大超出平台处理能力,实验在执行预测slopeOne_join05时发生崩溃。为较小数据处理量,我们对预测数据集predict_probe做了缩减,从中46万多用户中选出5000名用户的数据predict_probe0作为预测数据集,因此最后的均方根误差运算中样本数量也减少至17。

表2

数据集

Originalprobetarget_probetraining_probetraining_result_probetraining_result_probe0predict_probepredict_probe0predict_result_probepredict_result_probe0rmse

实验数据集

记录数1004805071408395140839599072112221353238415752118396438515103074793579459084286169

17

表3

操作

各步骤操作用时

耗时(s)

1598178716761763666262417

slopeOne_Pjoin01slopeOne_Pjoin02slopeOne_Pjoin03slopeOne_join04slopeOne_join05slopeOne_join06

机器学习算法的网络大数据级应用实践_许春玲

图7网络使用指标

除了应用层的实验结果,通过实验也可以看出底层平台在大数据处理方面的表现。以下截取了实验的核心模块预测slopeOne_join05执行过程中网络、内存以及中央处理器的性能指标。其中,最能体现分布式计算特性的网络使用量峰值达到了约650M;内存使用量的最高值突破500G,虽然从图象上看距离集群总内存量还有差距,但是考虑Hadoop平台实际只是整个集群的一部分,实际可用内存量只有600G,内存的使用也达到了相当高比例;CPU的使用峰值也达到了60%。

上一页第5页

热门文档

相关文档

  • 基于大数据的Web服务传输方案的构建与实现

    参 考 文 献 【1】 许春玲 , 范志刚 , 宋应文. 机器学习算法的网络大数据级应用实践 叫. 网络新媒体技术 ,2012,06:63—69 【22 〕季文 天. 语义 we...

  • 基于主流云计算技术的集群三元空间提取方法

    许春玲 1,张广泉 1, 2 (1. 苏州大学计算机科学...,确立了在互联网级的 跨数据中心集群计算的优势。 ...算法都由 Java 自带的算法实现,算法的集中性以 ...

  • 1107a198736dbb3d

    许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...

  • 西安理工结构力学考研真题

    许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...

  • 西安理工结构力学考研真题

    许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email