文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 自然科学 > 物理 > 基于同义词和关联规则的查询扩展模型
侵权投诉

基于同义词和关联规则的查询扩展模型

2010年第5期

福建电脑

91

基于同义词和关联规则的查询扩展模型

刘建荣t,翟雪荣z,赵晓鹏3

(1、河北省财政厅信息中心,河北石家庄0500512、河北白沙烟草有限责任公司镌Lg-中心,河北石家庄052165

3、河北财华信息技术有限公司河北石家庄050051)【摘要】:改进同艾词获取和基于关联规则的相关词算法,建立一个扩展的贝叶斯网络模型,并给出文档相关度计算推理过程。实验证明该方法平均精确度大幅度提高。

【关键词】:查询扩展,贝叶斯网络,信息检索,关联规则

l、引富

的最大查询词子集,IH(t.M表示玎f£.庖括查询词的个数,sim表示Ⅱ

,1)中所有词的相似度之和。扩展词和相关度存储到Rel文件中(每行记录格式如:搜索0.554)。

利用上述算法可以获取所有的同义词、相关词及它们的相

似度和相关度。

文本信息检索过程中文档索引词的标引和用户查询存在不确定性『11.造成用户查询与文档索引难以精确的匹配。近年来出现一些基于贝叶斯网络11,21的信息检索扩展模型口卅,可以很好地解决这种不确定性.这些模型主要通过同义词、相关词对用户查询进行扩展.并在模型中对同义词的相似度Ia和相关词的相关度进行量化。

国内外对贝叶斯网络在信息检索检索领域的研究主要是在简单贝叶斯网络检索模型基础上进行扩展。目前的同义词扩展方法都是机械地通过同义词词典进行扩展.在扩展时仅孤立地考虑查询中一个词。典型的基于贝叶斯网络的信息检索模型的相关词获取采用关联规则挖掘算法.这些模型都是在查询过程中计算.会增加检索时间。

针对上述分析.设计一个查询扩展融合算法,在对某个查询词进行同义词扩展时.考虑其它查询词与将扩展词的相关度,从基于关联规则的挖掘算法获取的相关词集合中扩展相关词,并将两类词的扩展融为一体。在融合算法得到结果基础上建立贝叶斯网络检索模型。最后通过实验验证本文方法的有效性。2、获取同义词和相关词融合算法

在融合算法中对查询扩展进行如下改进:计算查询词同义词相似度考虑其与查询中其他的词的相关度:对查询词进行相关词扩展时.考虑将扩展词与查询词子集的最大频繁项A与该词的相关度.同时考虑A中每个词的权重和包含源查询词个数(包含源查询中词越多,相关度越大)。算法描述如下:

(1)候选同义词集合构建:假定用户查询为,g,,q,..,g√,根据J.2的相似度公式计算计算查询词g;和任意索引词£;的相似度,大于阚值(通过实验选取)的词作为该查询词的候选同义词,相似度值作为伪相似度.sim(q,ti)。

(2)确定t是否作为同义词及同义词相似度值的计算:从reZ.

3、基于融合算法的贝叶斯网络模型3.1拓扑结构

利用相似度和相关度融合算法得到的同义词和相关词。对贝叶斯网络信息检索模型进行扩展,如图1所示。包括3层术语:第一层0为查询关键词.第二层1Tr和第三层RT为文档集合索引词。拓扑结构中有三类连线:Q层到TT层的连线表示连线两端的概念是同义词.相似度从simR中获取;,I-I.层到RT层的连线有两种:一种表示在RT层节点与Tr层实例化节点构成最大频繁项,相关度从ReI文件中读取:另一种为Tr层实例化节点与RT层相同节点的连线,相关度从simR中读取:RT层与D层的连线表示RT层的词是D层文档的索引词.连线用该词在文档中的权重量化。

Q

TT

R

D

图l贝叶斯网络检索模型

3.2相关文档概率推理

用户查询输入查询后,用其关键词集合{q。,q:,...,q。l实例化Q层.并根据3.1算法生成simR和Rel文件,利用其中存储的内容实例化贝叶斯网络的同义词层和相关词层及相应的连线。每个文档相关性P似fQ)推理如下(这里计算只考虑与查询词同义和相关的词,其它词相关概率都为0):

鳓如e尉e文件中读取厂g,g,.,g√中任意gi和t频繁项,若有,qi出现时gI,£零现的概率,ie作-r(q,tJ;否则rrg,t≯=D。g;与f;的最终相似度

计算:

simR(qPt+卢-a}siz(q,lJ宰乞r(q,liJ

其中,a为调节参数,通过t与Q中相关词个数控制。

(2)

(1)碾词t在查询Q下的概率邱;fa的计算直接从3£,,氓中读

取,如果有t,P(tjIQ)k.simR(q,IJ;否则弹。IQ)=O。

选取与q;的相似度值s拥R向,tJ大于阈值(通过实验选取)的屯最为同义词。并将口;与同义词及相似度(gi与本身的相似度为J)保存到文件simR(每行记录格式如:政策策略0.554),以备计算文档与查询相似度时用。

(3)相关词及相关度计算:在relativeFile中搜索每一个频繁项,该项包括通过(2)得到的扩展词的最大频繁项,并且该频繁

(2)R瞧节点通过ReZ文件实例化,每个节点的相关概率记

作P(RettiI驯。

(3)D层文档在Q下的概率尸协』Q肘算公式如下:

P鸱IQ)=玎+∑%P∞,f,IQ)

Re珥E知(研)

(4)

项中有一个词t不在simR3之件中。将这些频繁项中新出现的词作为相关词,并计算£相美度e(tdl(tflI(t),公式如下:

P(£,nq净n(t)=毋IFl(Q*sim4e(t,n(toyP(n(t∞

‘3、

其中,I表示该文档包括原始用户查询词的个数(保证包含源查询词多的文档排得更靠前),钾:;表示索引Z在D.中的权重。

根据上述推理,计算出每篇文档Di与查询O的相关度P口;I

DJ,然后文档以概率递减的顺序呈现给用户。

其中Ot为规范化参数,保证相关度小于1;聊i,表示与f;共现

万方数据

(下转第131页)

第1页

你可能喜欢

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email