文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 计算机硬件及网络 > 机器学习算法的网络大数据级应用实践_许春玲
侵权投诉

机器学习算法的网络大数据级应用实践_许春玲

第1卷第6期2012年11月

网络新媒体技术

Vol.1No.6Nov.2012

机器学习算法的网络大数据级应用实践

许春玲范志刚宋应文

(中国科学院上海高等研究院

上海201210)

*

摘要:提出了基于hadoop平台的关于大数据级协同过滤推荐系统的一系列关键技术和实践。前期大数据处理平台hadoop的——slopeone算法为核心实现搭建,包括底层的硬件平台以及基于hadoop的数据处理工具;以基于物品的协同过滤推荐算法—了协同过滤推荐并设计了整套实验流程,实验选择了一个具有代表性开放数据源作为处理对象,最后地实验结果给出了预测的均方根误差以及实验的耗时和数据量等指标。hadoop,关键词:大数据,协同过滤

ThePracticeofMachineLearningAlgorithmsonWebBigData

XUChunling,FANZhigang,SONGYingwen

(ChineseAcademyofSciencesShanghaiAdvancedResearchInstitute,Shanghai,201210,China)

Abstract:Thispaperfocusonthepracticeofaseriesofkeytechnologiesofimplementarecommendersystemofcollaborativefilteringincludethehardwareandthetoolsbasedonhadooptobasedonhadoopcluster.Fistwesetupahadoopclusterasplatformforbigdata,

processdata;thenwecarryoutanexperimentasarecommendertoprocessbigdatasetsbasedonitem-basedlistoutofelapsedtimeanddatasizeofevrystepintheexperiment.Keywords:bigdata,hadoop,collaborativefiltering

1大数据与Hadoop

Hadoop是处理大数据的常用平台,在这种架构中大数据被打散成大小相等的数据块写入到不同的计算

从存储空间来看,针对大数据处理中大量数据持续写入的特点,可以便捷的加入新机。该方案的优势在于,

计算机增加存储空间;另一方面从数据吞吐量来看,同时从多台计算机并行读写数据大大提高了效率。从计算的角度看,对于分布在不同计算机上的数据,用户可以指定一定数量的分布在不同计算机上的JVM(Ja-va虚拟机)分析处理,1]这些具体执行计算的JVM被系统命名为Child。Child之间遵循MapReduce[范式分工合作实现并行计算,每个Child完成的工作大致可以分为两类Map或Reduce,工作细节由用户编写代码填充到Hadoop的Map或Reduce类来实现。MapReduce范式还有一项特征,在这种模式下用户根据具体问题自己选择关键字和内容(键/值对)来描述数据,键/值对的定义只在处理作业进行时生效。换句话说,同一份数据用户根据不同的需要在编写代码时定义不同的键/值对来描述,键/值对并不是数据的固有属性。这

本文于2012-09-05收到。

*基金项目:中科院先导项目子课题:未来网络现网无扰验证技术及环境研究(子课题编号:XDA06010301);中国科学院重点部署项目:NGB有线无线融合关键技术研究与应用示范—面向用户行为管理的智能搜索(子课题编号:KGZD-EW-103-2(1));基金项目:中科学院百人计划择优支持;国家自然科学基金:辐射流体力学异构多核大型并行机的可扩展新型算法研究(项目编号:91130024);上海市科委项目:GPU加速器高机能中间件(课题编号:11D1500400);上海市科委项目:基于云计算的金融信息服务平台(课题编号12D1506600)。

第1页

热门文档

相关文档

  • 基于大数据的Web服务传输方案的构建与实现

    参 考 文 献 【1】 许春玲 , 范志刚 , 宋应文. 机器学习算法的网络大数据级应用实践 叫. 网络新媒体技术 ,2012,06:63—69 【22 〕季文 天. 语义 we...

  • 基于主流云计算技术的集群三元空间提取方法

    许春玲 1,张广泉 1, 2 (1. 苏州大学计算机科学...,确立了在互联网级的 跨数据中心集群计算的优势。 ...算法都由 Java 自带的算法实现,算法的集中性以 ...

  • 1107a198736dbb3d

    许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...

  • 西安理工结构力学考研真题

    许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...

  • 西安理工结构力学考研真题

    许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email