文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 信息与通信 > 面向主题的域内垂直搜索引擎系统的研究与实现
侵权投诉

面向主题的域内垂直搜索引擎系统的研究与实现

5 6 2 . 3检索正态化因子的调整

宁夏大学学报 (自然科学版 ) 检索过程中页面分值计算如下:

第 3 4卷

由上文可知,建立网页索引的目的是为用户检

p a g e S c o r e ( g, )一 c o o r d( q, )× q u e r y No r m( q )×

索服务的.在检索过程中,搜索引擎对用户输入的内容进行词法分析,建立查询语法树,并依据查询语法树对索引文件检索出的内容进行合并操作,将检索出的页面计算分值并排序后返回给用户. L u c e n e索 引文件由索引 ( 1 n d e x )、段( s e g me n t )、文档 ( d o c u—

( t f( i n q )×i d f( )。×t . g e t B o o s t ( )× f i _ q

f l o r n( i£, ) )

( 3 )

式中:£ ( t e r m)为包含域信息的词; d( d o c u me n t )为包含域信息的文档; q为用户查询信息的词 ( t e r m); c o o r d ( q, )为一次搜索可能包含多个搜索词,而一 篇文档中也可能包含多个搜索词,一篇文档中包含

me n t )、域( f i e l d )、词( t e r m) 5层结构组成.在创建索 引文件过程中,系统将页面分析结果一次性写入到

域信息、域数据、词字典、词频率数据、词向量、位置信息数据、正态化因子等索引文件中.因此,对影响页面分值计算结果的正态化因子的调整,需要在网页索引文件建立时进行预处理操作 . 2 . 3 . 1 主题相关度计算主题与文档的相关程度

的搜索词越多,文档打分越高; q u e r y No r m( q )计算 每个查询条目的方差和,其值并不影响排序,而仅仅

使不同的 q u e r y之间的分数可以比较; t f ( t i n )为 t e r m t在文档 d的出现词频; i d f ( t )为 t在几篇文档中出现过; n o r m( t, )为正态化因子.其中方差和

通过使用向

量空间模型的算法来描述],本文根据 实际需要表述如下 . 设由一系列词组成的文档构成的向量空间为 V一{ W1 W2 …, W,…, W ),由主题词组成

q u e r y No r m( q )的计算如下: q u e r yNo r m(口 ): 1

q . g e t B 0 o s t ( ) ×∑i d f ( t )× t . g e t B o 0 s£ ( )。 ,i n q

的向量空间为 V。一{ W1, , W2 …, W,…, W} . 权值 W计算为 W 一t f l o g ( n/ d r ), ( 1 ) 文件中,即

( 4 )

正态化因子由 n o r m( t, )计算得到并写入索引 l l o r m(£, )一d . g e t B o o s t ( )×l e n g t h No r m( f i e l d)×

式中: W为词t在文档 d中权重; t f 为词 t在文档 d中出现的次数; n为文档总数; d f 为所有文档中包

I l f . g e t B o o s ( ) . f i e l dfi n d

( 5 )

含词条 t的文档数 . 大说明词 t越不重要 .

越大说明词 t越重要, d f 越

通过调节文档的主题、域和文档长度实现对页面计算分值的调整.正态化因子为 n o r ̄ t (£, )的计算结果受 D o c u m e n t . b o o s t和F i e l d. oo b s t值的影响.文档设置的 D o c u en m t . oo b s t值越大,说明此文档越重要;域 设置的 F i e l d . oo b s t值越大,说明此域越重要, L u c e n e 中这两个值默认均为 1 . 文档长度由 l e n g t h No r m( ie f l d)一 ( 1 . O/ Ma t h. s q r t ( h u mTe r ms )计

主题词与文档之间的相关程度可通过主题向量空间模型 VS M( v e c t o r s p a c e mo d e 1 )计算得到 .相关 度计算如下: 弋 . .

s i m( q ): c o s ( 0 )一

一

∑W W n —_" _一 i= 1 i= 1

算得到,它表示一个域中包含的 t e r m总数,其值越大, .● (… 2 )

文档越长.通过上节中主题相关度的计算,可为 oc D u me n t

. B o o s t值和 F i e l d . oo B s t值的设定提供依据. 本文将主题相关度计算结果放大至E o, 1 0 0],取整后 作为调整主题词、隐形关键字对应的正态化因子 D o c u en m t . b o o s t和F i e l d . oo b s t的参数.

∑, ∑, ( 2 )式中,主题词向量空间由主题词、隐形关键词共同组成.实际过程中,当两向量自然维数不同时,取二者的并集,如果不含某个词 ( t e r m)时,则权重 ( t e r m w e i g h t )为0 .主题词向量空间与文档分词向量空间夹

3系统实现及分析 本系统抓取的起始 URL列表如下: h t t p:// . n x u . e d u . c n/宁夏大学校内所有网 站(共 6 2个); h t t p:// t i e b a . b a i d u . e o m/ f? k w一宁大#/百度贴吧宁大吧; h t t p:// we i b o . c o m/ 1 9 0 1 5 5 9 4 5 1/宁夏大学官

角越小,计算结果余弦值越大,主题词与页面的相关性也就越大.通过对抓取网页与主题词的相关度计算,为 页面分值计算正态化因子的调整提供了依据. 2 . 3 . 2正态化因子的调整 L u c e n e中S i mi l a r i t y类是

实现用户提交检索请求后实现对页面算分的 A P I,它的子类实现了检索算分的算法. D e f a u l t S i m i l a r i t y类是缺省的算分的实现, S i il m a r i t y D e l e g a t o r类是用于委托 算分( d e l e g a t i n g s c o i r n g )的实现,在 Q u e r y . g e t S i il m a r i t y ( S e a r c h e r )的实现中起作用.

方微博 . 系统主要关注的主题包括:校园信息安全、网络

面向主题的域内垂直搜索引擎系统的研究与实现

上一页第3页

你可能喜欢

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email