第3 0卷第 7期 2 0 1 3年 7月
计算机应用与软件 Co mp u t e r Ap p l i c a t i o n s a n d So f t wa r e
V o 1 . 3 0 N 0 . 7
J u 1 .2 0 1 3
基于百度搜索日志的用户行为分析 董志安吕学强 (北京信息科技大学网络文化与数字传播北京市重点实验室北京 1 0 0 1 0 1 )
摘
要
基于大规模搜索日志进行用户行为分析有助提高搜索引擎的各种性能指标。从三个方面对百度开放日志进行详细分
析。首先对查询串长度和频次进行统计,发现查询串中存在着长尾效应,前1 0%最常用查询串的查询次数占总查询次数的 7 0 . 8%。 其次对 U R L点击深度和频次进行分析,发现有 7 3%的网页只被点击一次,表明互联网中存在着大量低频访问网页。最后对用户使
用高级检索情况进行分析,发现有不足0 . 1 2%的用户使用高级检索,表明用户更喜爱简单方便的操作。 关键词中图分类号搜索日志用户行为分析日志分析百度开放日志 T P 3 9 1 文献标识码 A D O t: 1 O . 3 9 6 9/ j . i s s n . 1 0 0 0 - 3 8 6 x . 2 0 1 3 . 0 7 . 0 0 6
US ER B EHAVI OUR ANALYS ES BAS ED oN BAI DU S E ARCH Lo GS
Do n g Zh i a n L n Xue q i a ng ( K e y L a b o r a t o r y o fl n t e r n e t C u l t u r e a n d D i g i t a l D i s s e mi n a t i o n R e s e a r c h, B e f i n g I n f o r ma t i o n S c i e n c e a n d T e c h n o l o g y U n&e r s i t y, B e i j i n g 1 0 0 1 0 1, C h i n a ) An a l y s i n g u s e r b e h a v i o u r b a s e d o n l a r g e— s c a l e s e a r c h l o g s c o n t i r b u t e s t o i mp r o v i n g v a r i o u s p e f r o r ma n c e i n d e x e s o f s e rc a h
Ab s t r a c t
e n g i n e s .I n t h i s p a
p e r w e ma k e d e t a i l e d a n a l y s e s o n B md u s e a r c h l o g s f r o m t h r e e a s p e c t s .F i r s t,t h e s t a t i s t i c s o f q u e r y s t in r g l e n ̄h a n d f r e q u e n c y s h o w t h a t t h e l o n g t a i l e f f e c t e x i s t s i n q u e y r s t i r n g s .t o p 1 0% o f q u e r i e s w i t h h i g h f r e q u e n c y a c c o u n t f o r 7 0 . 8% o f t o t a l q u e i r e s . S e c o n d;t h e a n a l y s e s o n d e p t h a n d f r e q u e n c y o f URL c l i c k s s h o w t h a t 7 3% o f t h e we b p a g e s a r e c l i c k e d o n c e o n l y,t h i s i l l u s t r a t e s t h a t t h e r e
re a a l o t o f l o w f r e q u e n c y w e b p a g e s .F i n ll a y,t h e a n a l y s e s o n u s e r s a d v a n c e d s e a r c h s h o w t h a t l e s s t h a n 0 . 1 2% o f t h e u s e r s u s e t h i s
f u n c t i o n, a n d t h e s i m p l e o p e r a t i o n i s m o r e p r e f e r a b l e b v t h e u s e r s . Ke y wo r d s S e a r c h l o g Us e r b e h a v i o u r na a ly s i s L o g a n a l y s i s Ba i d u o p e n l o g
询串重复是普遍存在的。文献[ 4, 5]通过查询串和 U R L点击关
0引言 随着人们生活水平提高,互联网趋于爆炸式增长。搜索引擎已经成为人们生活中的必需品,人们通过搜索引擎来解决生活、情感、工作和学习中遇到的问题。搜索日志记录用户
查询过程,包括查询内容和点击频次以及 U R L等丰富信息。如何通过对日志分析来改善搜索引擎的质量,已经成为当前重要研究 方向。
系,来进行查询扩展和推荐研究。文献[ 6]通过对日志挖掘研 究查询串和点击网页之间的关系。另外, G o o g l e推出了两款基
于搜索引擎日志分析的应用产品 G o o l e T r e n d s和G o o l e I n s i g h t s, 利用这两种工具可得到某一个查询串被检索次数随时间变化的 规律。
国内对搜索引擎日志研究起步比较晚,文献[ 7]通过对 s o— g o u日志统计,总结出查询长度、查询频度等规律。文献[ 8]对中文搜索引擎中的查询串进行分析,发现查询串的长度及结构连续多年保持稳定,在网络搜索引擎中使用的词汇具有很强的集中效应。文献[ 9]对北大天网搜索日志进行分析, U R L点击表现出明显的局部性,用户查询分布具有良好的自相似性。文献[ 1 0]引入中文分词技术对中文搜索引索日志进行了分析,提出了用户搜索词模型,给出了历史搜索结果影响因子算法。文献[ 1 1]对给定查询建立了相近查询回归模型。文献[ 1 2, 1 3]从
2 0 1 1年1 2月中国搜索引擎市场研究报告指出,截止到
2 0 1 1年第三季度搜索引擎用户规模已经达到了 3 . 9 6亿,在庞大用户群体中百度用户渗透率达到了 9 8 . 3%,搜狗用户渗透率为4 5 . 8%,是国内使用最多的两大搜索引擎。因为搜狗搜索日 志数据开放得比较早,所以基于搜狗开放日志的用户行为分析
研究比较多,而基于百度 E t志的用户行为分析研究比较少。本文主要对百度开放日志进行分析。
语法角度出发,使用机器学习方法对日志中查询串进行结构和 功能识别。
1国内外研究现状 收稿日期: 2 0 1 2— 0 8— 2 4。国家自然科学基金项目( 6 1 1 7 1 1 5 9 );国
国外对搜索引擎日志研究起步比较早,二十世纪九十年代
家科技支撑计划课题( 2 0 1 1 B A H 1 1 B 0 3 );北京市教委科技发展计划项目 ( K M2 0 1 1 1 0 7 7 2 0 2 1, KM 2 0 1 2 1 1 2 3 2 0 2 3 )。董志安,研究实习员,主研领
开始研究。文献[ 2]对
大型商务搜索引擎日志进行分析统计, 揭示了在英文搜索引擎中查询串长度等规律。文献[ 3]指出查
域:自然语言处理。吕学强,博士。

基于日志分析的用户搜索行为研究_专业资料。用户行为分析是改进搜索引擎的重要依据,为了更好地理解中文搜索用户的检索行为,在引入分词的基础上对搜狗搜索引擎在一个...
基于日志挖掘的搜索引擎用户行为分析_专业资料。随着网络搜索用户的大规模增加,网络用户行为分析已成为网络信息检索系统进行架构分析、性能优化和系统维护的重要基石,是...
基于查询日志的中文搜索引擎用户行为分析_专业资料。面对海量信息,对搜索用户进行用户行为分析能够有效地提高搜索引擎的检索效率和检索准确率。本文通过对中文搜索引擎...
本文将对为期一个月的真实规模中文搜索引擎 网络日志进行研究 , 从较大规模的数据中分析中文 搜索引擎用户行为的一些特点 , 为中文搜索引擎算 法的改进和检索性能...
基于大规模日志分析的网络搜索引擎用户行为研究_IT/计算机_专业资料。源于Sogou实验室基于大规模日志分析的网络搜索引擎用户行为研究余慧佳 ,刘奕群 ,张敏 ,茹立云 ...
基于日志分析的用户搜索行为研究_IT/计算机_专业资料。日志分析 用户行为 网络搜索第17卷第2期2010年4月 文章编号:1672-4143(2010)02.0070.04 莆田学院学报...
用户行为日志分析_IT/计算机_专业资料。用户行为日志分析的基本介绍1、用户行为日志 起点 R3 电子商务搜索引擎演示系统中记录的用户行为数据主要包括四大类 搜索历史...
本文提出基于 H ado op 的搜索引擎用户行为分析, 采用分布式文 件系统和并行计算模型支撑海量日志文件的处理。 [ 4] 文件切割情况及 Block 存储位置等重要信息,...
日志中不同查询串、不同用户和点击不同uRL的数量满 足He印s定律. 关键词:搜索引擎;用户目志;用户行为;Heaps定律 中图分类号:TP393 文献标识码:A www搜索...
关键词 搜索引擎 点击日志 用户行为 分布特征 相似查询 !"#$ %#&’()*$ ...而针 对用户点击日志, 别是中文搜索引擎的分析和研特 究相对较少。本文基于...
热门文档