个性化推荐系统中协同过滤算法研究
安徽财经大学管理科学与工程学院李东勤徐勇
[摘要]个性化推荐系统是解决互联网信息超载的主要途径之一,协同过滤推荐是目前应用最广泛和最成功的个性化推荐系统。本文介绍了协同过滤推荐算法的基本思想、技术分类和最新研究进展,分析目前出现的代表性算法,总结协同过滤推荐算法中的关键问题和相关解决方案,最后总结了推荐系统的性能评测方法和未来的研究热点。[关键词]协同过滤个性化推荐系统扩展性数据稀疏性
1.引言
随着网络的快速发展,越来越多的用户参与到网络中来,由于网上购物的快捷性、方便性等特性,吸引了大量的用户选择网上购物。但是,面对电子商务网站提供的大量商品,顾客却无法通过小小的计算机屏幕在短时间内浏览所有商品,并且也缺少现实商店中促销员的精心导购,从而使得用户面临“信息超载”的困境。电子商务推荐系统正是针对上述问题和需求而产生的,为了提供精确而又快速的推荐,研究者
[1-5]
提出了多种推荐算法,其中协同过滤推荐算法是应用最为成功的一[6-7]
种,取得了越来越好的推荐效果。
协同过滤推荐(collaborativefilteringrecommendation)技术由Gold-berg等研究人员[8]于1992年首先提出,应用于Tapestry系统,该系统仅适用于较小的用户群(某一个单位内部),而且对用户的要求也很多。作为协同过滤推荐系统的雏形,该系统展示了一种新的推荐思想,但存在许多技术上的不足。随后出现了基于评分的自动协同过滤推荐系统,例如推荐新闻和电影的GroupLens[9]。目前,许多电子商务网站都已经使用了推荐系统,例如Amazon、CDNow、Drugstore和Moviefinder等[10]。
2.协同过滤算法分类
目前的协同过滤推荐算法主要可分为两类:基于用户的协同过滤
[11-12][13-16]
推荐算法和基于项目的协同过滤推荐算法。在这两种协同过滤算法中,前者是最早出现的协同过滤算法,也是至今为止使用最多的协同过滤算法,它以用户-项目评分矩阵中的行数据(用户数据)计算用户之间的相似性,而后者是以用户-项目评分矩阵中的列数据(项目数据)计算项目之间的相似性。两种协同过滤算法都是基于用户评分矩阵作为推荐的数据基础。目前,大多数协同过滤的改进算法都是在这两种协同过滤算法的基础上,特别是基于用户(user-based)的协同过滤基础上产生的。因此,这两种协同过滤的基本算法是协同过滤算法改进研究的重点内容。
2.1基于用户的协同过滤
基于用户的协同过滤算法(user-basedcollaborativefiltering)基于这样一个假设:如果用户对一些项目的评分比较相似,则他们对其它项目的评分也比较相似;如果大部分用户对一些项目的评分比较相似,则当前用户对这些项目的评分也比较相似。其基本思想非常易于理解,在日常生活中,我们经常会利用好友的推荐进行一些选择。基于用户的协同过滤正是把这一思想运用到推荐系统中来,即基于其他用户对某一内容的评价向目标用户进行推荐。基于用户的协同过滤推荐根据评分相似的最近邻居的评分数据向目标用户产生推荐[17-19]。其主要实现步骤一般分为三步:
(1)数据表示
用户集合U={u1,u2,u3......um}表示m个用户,项目集合
Rm×n表示用户-项目评分矩阵,I={I1,I2,I3......In}表示n个项目,表示有
Ri,j表示用户i对项目j的评分值。m个用户和n个项目,
(2)邻居的产生
邻居的产生关系到推荐的最终效果,是协同过滤推荐中的重要步骤,主要通过计算两个用户之间的相似性来得到邻居用户。常用的相似性计算方法有余弦相似性、修正的余弦相似性、相关相似性等,对目标用户u,形成一个依据相似度大小排列的邻居集合Un={u1,u2,u3......uk},U Un,u与Un中的用户ul之间的相似性sim(u,ul), (1≤l≤k)由大到小排列。
(3)产生推荐
依据上述步骤生成的邻居用户来完成对目标用户u未评分项目的预测评分,采用Top-N推荐,将预测评分最高的前N个项目推荐给目标用户u,需要注意的是Top-N推荐列表中的项目不能是用户已经评价过的项目。
2.2基于项目的协同过滤
基于项目的协同过滤算法思想:首先找到与目标项目相似的邻居项目,然后依据邻居项目的评价来向目标用户推荐其可能感兴趣的项目,其思想和基于用户的协同过滤算法思想相似,只是从不同的角度来考虑。算法过程分为三个步骤:
(1)项目相似度计算
与基于用户的协同过滤推荐步骤中相似性计算相似,依据评分矩阵Rm×n来计算项目相似性,常用的项目相似性计算方法有余弦相似性、相关相似性、修正的余弦相似性等三种。
(2)邻居的生成
依据计算出来的项目相似性,找到目标项目的最近邻,最近邻按相似度从大到小排列,形成过程与基于用户的协同过滤算法相同。
(3)产生推荐
依据目标项目的最近邻,采用加权求和公式来预测目标用户对未评分项的评分,然后把预测评分最高的前N个项目推荐给当前用户。由于项目之间的特征属性比较稳定,所以项目相似性计算可以离线进行,减少在线推荐的时间,提高了推荐速度,但是不能实现新异推荐,不利于挖掘用户的兴趣。
3.协同过滤推荐算法中的关键问题3.1数据的稀疏性问题在现实中,由于基于网络的电子商务的信息特性,个性化推荐系统中的用户和项目的数量是非常巨大的,然而面对如此庞大的项目数量,每个用户不可能对每个项目都能够进行评价或是关注,就会产生用户对项目的评价信息不够多的情况。在许多推荐系统中,每个用户涉及的信息量相当有限,在一些大的系统如Amazon网站中,用户最多不过就评估了上百万本书中的1%到2%,造成评估数据矩阵相当稀疏。然而协同过滤算法是依靠用户对项目的评价信息产生推荐的,依靠少量的评价是无法产生精确的推荐的,评价信息量少就是协同过滤系统所遇到的评价数据稀疏性问题。数据稀疏性还会造成丢失用户之间潜在的关联关系,比如用户甲与用户乙的相关程度很高,用户乙与用户丙的相关程度也很高,但是由于用户甲与用户丙很少对共同产品进行评价,所以认为两者的关联程度比较低。正是由于数据稀疏性,丢失了用户甲与用户丙之间潜在的关联关系。现有的解决方法主要是利用某种数学方法对稀疏矩阵进行插值操作,以降低评分矩阵的稀疏程度,缓解协同过滤的数据稀疏性问题。这类方法有:(1)简单的填值方法;(2)基于聚类的方法;(3)相似度传递的方法;(4)基于人工agent的方法。
3.2冷启动问题
冷启动问题又称为新项目/新用户的问题[20]。其实冷启动问题就是稀疏性问题极端的情况。因为出现一个新项目的时候,还没有一个用户对这个项目进行评分操作,因此无法通过基于用户或是基于项目的相似性计算来进行预测评分,就更不可能进行推荐了。同理,一个新的用户因为还没有对任何一个项目进行评分,这个用户的邻居用户就无法被系统通过对应的项目评分数据来找到。冷启动问题是每个推荐系统都逃避不了的问题[21]。解决冷启动问题的方法也有多种,可以根据用户或者项目自身的附带属性进行聚类或分类来对相似度进行计算,比如根据用户的性别、职业、年龄、教育背景等社会属性,项目的类别、价格、产地、性能等规格属性;还可以根据基于用户评价对象(项目)的属性特征(基于内容的协同过滤分析出来的),发现、分析并且学习用户的行为方式等特征,根据相应的计算方法得出用户的兴趣模型,就能够发现这两个项目其中的相似关系。根据相似项目的属性再加上用户的评分,根据解决数据稀疏性的方法,就可以初步的预测用户对新项目的评分,这样就可以解决冷启动问题。
3.3扩展性问题
基金项目:本文系安徽财经大学青年科研项目(ACKYQ1109ZD)。作者简介:李东勤(1981-),女,江苏盐城人,讲师,硕士,研究方向:信息安全、数据挖掘、推荐系统;徐勇(1978-),男,博士,副教授,研究方向:数据挖掘、决策支持系统。
—466—
电子商务个性化推荐系统中协同过滤算法的研究_教育学/心理学_人文社科_专业资料。本文介绍了个性化推荐系统的各种推荐算法,主要对电子商务推荐系统中的协同过滤方法 ...
1 . Jan. 2008 协同过滤的一种个性化推荐算法研究郭艳红 , 邓贵仕 (大连理工大学 系统工程研究所 , 辽宁 大连 116023 ) 摘 : 在分析传统推荐算法不足的基础...
网络中心,山东 滨州 256603;2 .江苏大学 管理学院,江苏 镇江 212013)摘要:为提高个性化推荐系统的推荐效率和准确性, 提出了个性化推荐系统的二分网络协同过滤算法。...
基于协同过滤的网络论坛个性化推荐算法_专业资料。提出一种基于协同过滤的网络论坛个性化推荐算法,根据用户的发帖、回帖、阅读等记录,采用加权方法计算用户帖子的评分...
该系统实现基于用 户的协同过滤算法和基于项目评分预测的协同过滤算法,并且能够为用户展示个性化推荐的结果。 关键字:协同过滤 算法 个性化推荐 中图分类号:TP18 ...
综合了经典的协同过滤算法和基于网络结构的个性化推荐算法。项目同其他所有项目的相似度之和被认为是项目在个性化推荐系统中的初始推荐资源,然后通过二部图的网络结构...
电子商务系统协同过滤推荐算法研究 第二章 电子商务推荐系统及推荐算法研究综述 ...果作为输出或者以一种个性化的方式引导用户在大容量的可选项目中找到自己感兴趣或...
介绍了个性化推荐系统的概念以及推荐系统常用的算法:重点阐述了协同过滤技术的流程:利用用户项目矩阵计算用户之间的相似性,结合最近邻信息预测出符合个人特性的推荐信息;...
文献(10条) 1.学位论文 徐翔 协同过滤推荐算法的若干问题研究 2009 推荐系统通过预测用户对项目的喜好程度来为用户进行信息过滤,应用知识发现技术来生成个性化推荐。...
推荐系统中协同过滤算法... 77页 免费 协同过滤系统项目冷启动... 3页 免费 电子商务个性化推荐系统... 57页 免费 电子商务系统协同过滤推... 11页 1下载...
热门文档