66网络新媒体技术2012年
1亿多条评分记录,评分的分值在1-5之间。测试数据集供用户对预测结果的精度进行测试,该数据集的内容是从训练数据集抽取的一部分记录,但是记录不包括评分部分。训练数据集的详细特性:①电影代号是1-17770的流水号;②用户代号的取值范围1-2649429,其中有空缺,共计480189个用户;③评分的分值1-5;④用户评分日期的格式为年-月-日。
原始训练数据集由17770个文本文件组成,每个文本文件记录了一部电影的评分记录,格式如:①电影ID1:②用户ID11,评分12,评分日期13;③用户ID21,评分22,评分日期23;④用户ID31,评分32,评分日期33。
因为原始数据格式与Hive数据格式不一致,所以首先要将17770个原始数据文件整合成1个Hive格式文件。我们将原始数据读入Hdfs,然后通过HadoopMapReduce将原始数据格式转换成常见的Hive数据集格式,转换前后的数据格式对比如图4、图5

。
图4

原始数据格式图5转换后的Hive数据格式
3.2
实验设计
5]实验以slopeone[算法为基础,步骤依次为①预处理;②训练;③预测;④精度测试。最后的精度测试
netflix只提供了两个原始数据通过计算实际评分与预测结果的均方差来验证实验的精度。首先是预处理,
分别是训练数据集(training_set)和测试数据集(probe)。从两个数据集的关系来看,测试数据集是训练集,
数据集的子集,同时测试数据集缺少用户评分,这两点都不符合实验要求。第一步预处理要产生一个新的
包括用户评分的测试数据target_probe;第二步要将测试数据集从原始训练数据集中完全剔除,产生一个新的训练数据集training_probe;第三步预处理要充分结合slopeone算法的特点,产生一个预测数据集predict_probe,这个数据集的预测结果必须和测试数据集有交集。
slopeOne_Pjoin02、slopeOne_Pjoin03,预处理阶段整合为三个模块slopeOne_Pjoin01、每个模块产生一个
training_probe、predict_probe,新的数据集分别是target_probe、这些数据集之间要满足以下关系:
(1)训练数据集和验证数据集没有交集;
(2)预测数据集产生的结果数据集和验证数据集有交集

。训练slopeOne_join04和预测slopejoin05阶
精度测试slope-段是对slopeone算法的实现,
One_join06则采用均方根误差,细节不再赘述,完整实验流程参照图6。3.3
实验结果
整套实验流程产生的数据集大小以及操作耗用时间如表2、表3,实验过程总共耗时约8小时,包括中间结果累计产生30多亿条数据记录,最后的精度测试得到均方根误差为1.53004。需要补充说明的有两点①表3中列出的数据集比实验设计增加了两个分别是training_result_probe0、predict_result_probe0,新产生的两个数据集是在主体连接操作产生
图6
实验流程
参 考 文 献 【1】 许春玲 , 范志刚 , 宋应文. 机器学习算法的网络大数据级应用实践 叫. 网络新媒体技术 ,2012,06:63—69 【22 〕季文 天. 语义 we...
许春玲 1,张广泉 1, 2 (1. 苏州大学计算机科学...,确立了在互联网级的 跨数据中心集群计算的优势。 ...算法都由 Java 自带的算法实现,算法的集中性以 ...
许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...
许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...
许春玲 朱鸿亮 王文奎 鲁宽民 康建辉 王宇红 张...语言学及应用语言学 _ 01 翻译理论与实践 _ 02 ...智能算法与优化理论 _ 04 计算流体动力学及优化设 ...
热门文档