6期许春玲等:机器学习算法的网络大数据级应用实践67
training_result_probe、predict_Result_probe的基础上进一步做规约操作得到的结果;②由于数据量过大超出平台处理能力,实验在执行预测slopeOne_join05时发生崩溃。为较小数据处理量,我们对预测数据集predict_probe做了缩减,从中46万多用户中选出5000名用户的数据predict_probe0作为预测数据集,因此最后的均方根误差运算中样本数量也减少至17。
表2
数据集
Originalprobetarget_probetraining_probetraining_result_probetraining_result_probe0predict_probepredict_probe0predict_result_probepredict_result_probe0rmse
实验数据集
记录数1004805071408395140839599072112221353238415752118396438515103074793579459084286169
17
表3
操作
各步骤操作用时
耗时(s)
1598178716761763666262417
slopeOne_Pjoin01slopeOne_Pjoin02slopeOne_Pjoin03slopeOne_join04slopeOne_join05slopeOne_join06

图7网络使用指标
除了应用层的实验结果,通过实验也可以看出底层平台在大数据处理方面的表现。以下截取了实验的核心模块预测slopeOne_join05执行过程中网络、内存以及中央处理器的性能指标。其中,最能体现分布式计算特性的网络使用量峰值达到了约650M;内存使用量的最高值突破500G,虽然从图象上看距离集群总内存量还有差距,但是考虑Hadoop平台实际只是整个集群的一部分,实际可用内存量只有600G,内存的使用也达到了相当高比例;CPU的使用峰值也达到了60%。
参 考 文 献 【1】 许春玲 , 范志刚 , 宋应文. 机器学习算法的网络大数据级应用实践 叫. 网络新媒体技术 ,2012,06:63—69 【22 〕季文 天. 语义 we...
许春玲 1,张广泉 1, 2 (1. 苏州大学计算机科学...,确立了在互联网级的 跨数据中心集群计算的优势。 ...算法都由 Java 自带的算法实现,算法的集中性以 ...
许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...
许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...
许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...
热门文档