5 6 2 . 3检索正态化因子的调整
宁夏大学学报 (自然科学版 ) 检索过程中页面分值计算如下:
第 3 4卷
由上文可知,建立网页索引的目的是为用户检
p a g e S c o r e ( g, )一 c o o r d( q, )× q u e r y No r m( q )×
索服务的.在检索过程中,搜索引擎对用户输入的内容进行词法分析,建立查询语法树,并依据查询语法树对索引文件检索出的内容进行合并操作,将检索出的页面计算分值并排序后返回给用户. L u c e n e索 引文件由索引 ( 1 n d e x )、段( s e g me n t )、文档 ( d o c u—
( t f( i n q )×i d f( )。×t . g e t B o o s t ( )× f i _ q
f l o r n( i£, ) )
( 3 )
式中:£ ( t e r m)为包含域信息的词; d( d o c u me n t )为包含域信息的文档; q为用户查询信息的词 ( t e r m); c o o r d ( q, )为一次搜索可能包含多个搜索词,而一 篇文档中也可能包含多个搜索词,一篇文档中包含
me n t )、域( f i e l d )、词( t e r m) 5层结构组成.在创建索 引文件过程中,系统将页面分析结果一次性写入到
域信息、域数据、词字典、词频率数据、词向量、位置信息数据、正态化因子等索引文件中.因此,对影响页面分值计算结果的正态化因子的调整,需要在网页索引文件建立时进行预处理操作 . 2 . 3 . 1 主题相关度计算主题与文档的相关程度
的搜索词越多,文档打分越高; q u e r y No r m( q )计算 每个查询条目的方差和,其值并不影响排序,而仅仅
使不同的 q u e r y之间的分数可以比较; t f ( t i n )为 t e r m t在文档 d的出现词频; i d f ( t )为 t在几篇文档中出现过; n o r m( t, )为正态化因子.其中方差和
通过使用向
量空间模型的算法来描述],本文根据 实际需要表述如下 . 设由一系列词组成的文档构成的向量空间为 V一{ W1 W2 …, W,…, W ),由主题词组成
q u e r y No r m( q )的计算如下: q u e r yNo r m(口 ): 1
q . g e t B 0 o s t ( ) ×∑i d f ( t )× t . g e t B o 0 s£ ( )。 ,i n q
的向量空间为 V。一{ W1, , W2 …, W,…, W} . 权值 W计算为 W 一t f l o g ( n/ d r ), ( 1 ) 文件中,即
( 4 )
正态化因子由 n o r m( t, )计算得到并写入索引 l l o r m(£, )一d . g e t B o o s t ( )×l e n g t h No r m( f i e l d)×
式中: W为词t在文档 d中权重; t f 为词 t在文档 d中出现的次数; n为文档总数; d f 为所有文档中包
I l f . g e t B o o s ( ) . f i e l dfi n d
( 5 )
含词条 t的文档数 . 大说明词 t越不重要 .
越大说明词 t越重要, d f 越
通过调节文档的主题、域和文档长度实现对页面计算分值的调整.正态化因子为 n o r ̄ t (£, )的计算结果受 D o c u m e n t . b o o s t和F i e l d. oo b s t值的影响.文档设置的 D o c u en m t . oo b s t值越大,说明此文档越重要;域 设置的 F i e l d . oo b s t值越大,说明此域越重要, L u c e n e 中这两个值默认均为 1 . 文档长度由 l e n g t h No r m( ie f l d)一 ( 1 . O/ Ma t h. s q r t ( h u mTe r ms )计
主题词与文档之间的相关程度可通过主题向量空间模型 VS M( v e c t o r s p a c e mo d e 1 )计算得到 .相关 度计算如下: 弋 . .
s i m( q ): c o s ( 0 )一
一
∑W W n —_" _一 i= 1 i= 1
算得到,它表示一个域中包含的 t e r m总数,其值越大, .● (… 2 )
文档越长.通过上节中主题相关度的计算,可为 oc D u me n t
. B o o s t值和 F i e l d . oo B s t值的设定提供依据. 本文将主题相关度计算结果放大至E o, 1 0 0],取整后 作为调整主题词、隐形关键字对应的正态化因子 D o c u en m t . b o o s t和F i e l d . oo b s t的参数.
∑, ∑, ( 2 )式中,主题词向量空间由主题词、隐形关键词共同组成.实际过程中,当两向量自然维数不同时,取二者的并集,如果不含某个词 ( t e r m)时,则权重 ( t e r m w e i g h t )为0 .主题词向量空间与文档分词向量空间夹
3系统实现及分析 本系统抓取的起始 URL列表如下: h t t p:// . n x u . e d u . c n/宁夏大学校内所有网 站(共 6 2个); h t t p:// t i e b a . b a i d u . e o m/ f? k w一宁大#/百度贴吧宁大吧; h t t p:// we i b o . c o m/ 1 9 0 1 5 5 9 4 5 1/宁夏大学官
角越小,计算结果余弦值越大,主题词与页面的相关性也就越大.通过对抓取网页与主题词的相关度计算,为 页面分值计算正态化因子的调整提供了依据. 2 . 3 . 2正态化因子的调整 L u c e n e中S i mi l a r i t y类是
实现用户提交检索请求后实现对页面算分的 A P I,它的子类实现了检索算分的算法. D e f a u l t S i m i l a r i t y类是缺省的算分的实现, S i il m a r i t y D e l e g a t o r类是用于委托 算分( d e l e g a t i n g s c o i r n g )的实现,在 Q u e r y . g e t S i il m a r i t y ( S e a r c h e r )的实现中起作用.
方微博 . 系统主要关注的主题包括:校园信息安全、网络

JournalofNingxiaUniversity(NaturalScienceEdition) 2013年3月Mar.2013 文章编号:0253—2328(2013)01—0054—04 面向主题的域内垂直搜索引擎系统的研究与实现王 恒1...
垂直搜索引擎爬虫系统的... 52页 免费 面向主题的域内垂直搜索... 5页 4...GIS 垂直搜索引擎系统的研究与实现 3 Research and Implement of Vertical Search...
面向主题的域内垂直搜索... 5页 4下载券 面向...SCIENCE 55 面向主题信息服务的垂直搜索引擎应用研究...垂直搜索引擎系统结构由信息采集模块、索引模 块、...
面向领域的垂直搜索系统研究与实现 1.2通用搜索引擎...就是专为查询某一学科或主题的信息而产生 的查询...(tfieldin奶因 子可以用来控制文档中的某个域(...
面向博客领域的垂直搜索引擎的研究与实现_互联网_...引擎的网络蜘蛛 (又称为网络爬虫)仅采集与主题相关...阐述了通用搜索引擎与垂直搜索引擎在系统架构、工作...
建立了一个 面向汽车主题的垂直搜索引擎,设计了各个子系统,并实现了改进的爬虫...(document)组成, 每一个文档由若干的域(field)组成,每一个域由若干的项(term...
科公司的航海领域信息搜索业务需求为研究背景,设计并实现了垂 直搜索引擎系统。... 面向主题的域内垂直搜索... 暂无评价 4页 3.00 面向教育主题的垂直搜索...
依据专业领域搜索策略,设计并实现了一个面向教育主题的垂直搜索引擎系统, 着重研究了专业网络蜘蛛定制、基于VSM的主题相关度算法和倒排索引建立等关键技术及其实现细 ...
大豆垂直搜索引擎系统研究网页信息采集模块 网页信息采集的任务是从指定的大豆网站... 〔 8〕 王来 军. 面向主题的垂直搜索引擎系统的设计与实现〔. 天津: 南开...
基于Lucene垂直搜索引擎的研究与实现专 业:计算机应用...该主题内的页面挖掘能力更强, 所以和传统的面向整个...域的,因而垂直搜索引擎的网络蜘蛛只采集与主题相关的...
热门文档