2010年第5期
福建电脑
91
基于同义词和关联规则的查询扩展模型
刘建荣t,翟雪荣z,赵晓鹏3
(1、河北省财政厅信息中心,河北石家庄0500512、河北白沙烟草有限责任公司镌Lg-中心,河北石家庄052165
3、河北财华信息技术有限公司河北石家庄050051)【摘要】:改进同艾词获取和基于关联规则的相关词算法,建立一个扩展的贝叶斯网络模型,并给出文档相关度计算推理过程。实验证明该方法平均精确度大幅度提高。
【关键词】:查询扩展,贝叶斯网络,信息检索,关联规则
l、引富
的最大查询词子集,IH(t.M表示玎f£.庖括查询词的个数,sim表示Ⅱ
,1)中所有词的相似度之和。扩展词和相关度存储到Rel文件中(每行记录格式如:搜索0.554)。
利用上述算法可以获取所有的同义词、相关词及它们的相
似度和相关度。
文本信息检索过程中文档索引词的标引和用户查询存在不确定性『11.造成用户查询与文档索引难以精确的匹配。近年来出现一些基于贝叶斯网络11,21的信息检索扩展模型口卅,可以很好地解决这种不确定性.这些模型主要通过同义词、相关词对用户查询进行扩展.并在模型中对同义词的相似度Ia和相关词的相关度进行量化。
国内外对贝叶斯网络在信息检索检索领域的研究主要是在简单贝叶斯网络检索模型基础上进行扩展。目前的同义词扩展方法都是机械地通过同义词词典进行扩展.在扩展时仅孤立地考虑查询中一个词。典型的基于贝叶斯网络的信息检索模型的相关词获取采用关联规则挖掘算法.这些模型都是在查询过程中计算.会增加检索时间。
针对上述分析.设计一个查询扩展融合算法,在对某个查询词进行同义词扩展时.考虑其它查询词与将扩展词的相关度,从基于关联规则的挖掘算法获取的相关词集合中扩展相关词,并将两类词的扩展融为一体。在融合算法得到结果基础上建立贝叶斯网络检索模型。最后通过实验验证本文方法的有效性。2、获取同义词和相关词融合算法
在融合算法中对查询扩展进行如下改进:计算查询词同义词相似度考虑其与查询中其他的词的相关度:对查询词进行相关词扩展时.考虑将扩展词与查询词子集的最大频繁项A与该词的相关度.同时考虑A中每个词的权重和包含源查询词个数(包含源查询中词越多,相关度越大)。算法描述如下:
(1)候选同义词集合构建:假定用户查询为,g,,q,..,g√,根据J.2的相似度公式计算计算查询词g;和任意索引词£;的相似度,大于阚值(通过实验选取)的词作为该查询词的候选同义词,相似度值作为伪相似度.sim(q,ti)。
(2)确定t是否作为同义词及同义词相似度值的计算:从reZ.
3、基于融合算法的贝叶斯网络模型3.1拓扑结构
利用相似度和相关度融合算法得到的同义词和相关词。对贝叶斯网络信息检索模型进行扩展,如图1所示。包括3层术语:第一层0为查询关键词.第二层1Tr和第三层RT为文档集合索引词。拓扑结构中有三类连线:Q层到TT层的连线表示连线两端的概念是同义词.相似度从simR中获取;,I-I.层到RT层的连线有两种:一种表示在RT层节点与Tr层实例化节点构成最大频繁项,相关度从ReI文件中读取:另一种为Tr层实例化节点与RT层相同节点的连线,相关度从simR中读取:RT层与D层的连线表示RT层的词是D层文档的索引词.连线用该词在文档中的权重量化。
Q
TT
R
D
图l贝叶斯网络检索模型
3.2相关文档概率推理
用户查询输入查询后,用其关键词集合{q。,q:,...,q。l实例化Q层.并根据3.1算法生成simR和Rel文件,利用其中存储的内容实例化贝叶斯网络的同义词层和相关词层及相应的连线。每个文档相关性P似fQ)推理如下(这里计算只考虑与查询词同义和相关的词,其它词相关概率都为0):
鳓如e尉e文件中读取厂g,g,.,g√中任意gi和t频繁项,若有,qi出现时gI,£零现的概率,ie作-r(q,tJ;否则rrg,t≯=D。g;与f;的最终相似度
计算:
simR(qPt+卢-a}siz(q,lJ宰乞r(q,liJ
其中,a为调节参数,通过t与Q中相关词个数控制。
(2)
(1)碾词t在查询Q下的概率邱;fa的计算直接从3£,,氓中读
取,如果有t,P(tjIQ)k.simR(q,IJ;否则弹。IQ)=O。
选取与q;的相似度值s拥R向,tJ大于阈值(通过实验选取)的屯最为同义词。并将口;与同义词及相似度(gi与本身的相似度为J)保存到文件simR(每行记录格式如:政策策略0.554),以备计算文档与查询相似度时用。
(3)相关词及相关度计算:在relativeFile中搜索每一个频繁项,该项包括通过(2)得到的扩展词的最大频繁项,并且该频繁
(2)R瞧节点通过ReZ文件实例化,每个节点的相关概率记
作P(RettiI驯。
(3)D层文档在Q下的概率尸协』Q肘算公式如下:
P鸱IQ)=玎+∑%P∞,f,IQ)
Re珥E知(研)
(4)
项中有一个词t不在simR3之件中。将这些频繁项中新出现的词作为相关词,并计算£相美度e(tdl(tflI(t),公式如下:
P(£,nq净n(t)=毋IFl(Q*sim4e(t,n(toyP(n(t∞
‘3、
其中,I表示该文档包括原始用户查询词的个数(保证包含源查询词多的文档排得更靠前),钾:;表示索引Z在D.中的权重。
根据上述推理,计算出每篇文档Di与查询O的相关度P口;I
DJ,然后文档以概率递减的顺序呈现给用户。
其中Ot为规范化参数,保证相关度小于1;聊i,表示与f;共现
万方数据
(下转第131页)
基于同义词和关联规则的查询扩展模型 改进同义词获取和基于关联规则的相关词算法,建立一个扩展的贝叶斯网络模型,并给出文档相关度计算推理过程。实验证明该方法平均...
基于关联规则挖掘的查询扩展模型研究_专业资料。为了将关联规则挖掘技术更好地应用于信息检索查询扩展,通过对基于关联规则挖掘的查询扩展模型的深入研究,归纳出4类共...
关键词同义词扩展;查伞率;查准率;文本检索 中图...库标注的准确程度以及文本检索的算法模型,所以,检索...利用潜在语义分析和关联规则挖掘构造同义与关联词集[...
· 基于查询术语同义词的扩展信念网络检索模型徐建民 1,2,唐万生 1 (1. 天津大学系统工程所,天津 300072;2. 河北大学数学与计算机学院,保定 071002) 摘要:针对...
针对”多义词”和”词典问题”,结合文本分析和用户行为分析,提出了一种基于主题的个性化查询扩展模型。分析文本时,结合关联规则和图排序算法构建TextRank模型,脱离了...
7.期刊论文 刘建荣.翟雪荣.赵晓鹏 基于同义词和关联规则的查询扩展模型 -福建电脑2010,26(5) 改进同义词获取和基于关联规则的相关词算法,建立一个扩展的贝叶斯...
基于相关术语群和同义词的查询扩展研究_数学_自然科学_专业资料。长江大学学报(...基于用户日志的查询扩展统计模型口〕.软件学报,2003,14(9):1593~1599.〔3〕...
基于同义词关系改进的局部共现查询扩展_专业资料。基于局部共现的查询扩展是一... 基于同义词和关联规则的... 12人阅读 2页 1.00 基于相关术语群和同义...
基于查询术语同义词的扩展信念网络检索模型_专业资料。针对信念网络模型没有考虑... 基于同义词和关联规则的... 12人阅读 2页 1.00 基于混沌神经网络模型...
No.9 基于用户日志的查询扩展统计模型崔 航 1, ...与该查询关联最紧密的词加入原查询,以达到扩展优化...同义词和多义词的存在,用户在提交查询 时使用的词...
热门文档