垂直搜索引擎系统的研究与实现
维普资讯 doc.guandang.net
科技信息
O计算机与信息技术0
S IN E IF MA I N C E C N OR T O
20 07年第 7期
基于搜索引擎算法查准率的研究与设计 李大林
(鲁东大学计算机科学与技术学院计算机科学与技术专业山东烟台 2 4 2 ) 6 0 5 摘要:文主要研究并分析了搜索引擎算法查准率相关的问题,对特定主题的搜索引擎构建问题,出了一种主题搜索引擎的体系结构.本针给
并在此基础上,出了南向主题的专业网页索引集构造算法.提模拟实验表明,以该算法为基础的主题搜索引擎能使用户搜索到该主题的权威页 和中心页,可以有效地提高搜索引擎的查准率。 关键词:索引擎;法;搜算查准率
O引言 . 搜索引擎算法是搜索引擎的核心技术机密。是每个搜索引擎优也化人员所希望了解的问题,但是这样的核心机密自然不可能完全被揭密,于是对搜索引擎排名算法的推测成为搜索引擎优化人员关注的话题之一。据研究结果显示,三大英文主流搜索引擎 gol、a o ogeyh o和 MS的网页排名算法中。对一个网站被其他网站链接的质量和数量 N等,会被认为是网站在搜索结果排名的重要因素,过各个搜索引都不 擎的网页排名算法对于网站外部链接的质量以及其他因素的权重可能会有一定的差异。
明怎样克服这个问题并保持 WM算法的精华 (速度 )第一个阶段是预
处理模式集合。在这个阶段建立三张表,移动表(HIT t l)哈希表 S F be、 a ( AS be、 H H t l)前缀表( R FX tbe。移动表和 WM算法的类似, a P E I l) a但不完全相同。它用来决定当文本被扫描的时候,文本中的多少个字符可以被移动(跳过)。哈希表和前缀表是移动值为 0时被使用的。他们用来决定哪个模式是匹配的后选,验证匹配。并 现在做的第一件事情就是计算每个模式的最小长度,称为 I, T并 I且只考虑每个模式的头 I个字符。换句话说,加一个要求:有的 T 1强所模式都具有相同的长度。这个要求对算法的效率是至关重要的。假设其中一个模式非常的短,度仅为 2那移动的距离就不可能超过 2,长, 1索引擎 W M多模
匹配算法的研究 .搜 假设 L是文本的大小, P是模式的数量,I每个模式的长度,所以短模式会使算法的效率降低。 I是 T L 3移动表的建立 .=m P是所有模式的大小, N≥L C是字母表的大小, B lg2。设 .取=ocL 设一块大小为 x的字符串。不是一个一个地查看文本的字符。而 移动表包含了所有可能的大小为 B的字符串。所以在移动表中有 c= b M= *设 cocL<2 c个人口。移动表的构造时间为 0L, lg2 ̄ L f1因为任何模式的每设 M为所有模式的总的大小, k m, C为字母表的大小。一个好 ocM实我 2或 X=。这里的移动 3个大小为 B的子串只被考虑一次。以它平均消耗的是常数时间。把的 x的取值应该是 lg2;际上,们取 X=所扫描时间分两种情况。第一种情况假设移动值非 0;在这种情况下继续移动,在文本的那个位置上并不需要做额外的工作。第二种情况,假设移动值为 0。这种情况下 .要读人更多的模式和文本并查询哈在需希表。先证明下面一个引理:一个任意的大小为 B的字符串的匹配首个移动值 i0≤i lB I的概率≤1 i (≤n—+ )/n 2证明:对于所有的 0≤m B I≤i—+。至多 P Lm个字符串匹配一个 ./移动值 i但是所有的可能的大小为 B的字符串最少有 2。 L个。以一所个任意的大小为 B的字符串匹配到一个移动值 i的概率≤1 m。对于 2/移动值为 0的情况亦真。 上面这个引理表明一个移动的期待值≥r 2因为计算一个哈希 r。 d值需要花费的时间为 Of)所有非 0移动花费的时间为 OfNm。移 B, B/)动为 0的工作量也是 OB, ()除非存在一个匹配时,需要检查整个模式, 花费的时间为 0 m。因为移动值为 0的情况发生的概率≤12 1 (1/m( ̄上述的引理 )整个扫描过程花费的时间是 O(Nm), B/。 综上所述,该算法总的运行时间为 0() B/= m ) B/ L+O(Nm)O(p+0(N 一
Ⅱ。
2搜索引擎的设计 . 首先,先建一个数据库,作为资料的存储,这里将数据库的文件名为 ifr t nm b, nomai .d使用 acs创建数据库。建立四
个表: w ( o c es w w存储资料)ot, r大类)sml,类) ewod(询关键字) s (,a lI, y rs ( ̄ k ̄ 1 w表:——自动编号,i一站点名称,d—站点链接, . w w i d st e u— Ⅺ—简要说明,ew rs一关键字, e—添加时间,v l— — k y 0d一 m— l e— e站点等级,ot——大类 i s ld—小类 i .o—站点点击次 srd i d, l— ma i d ht—数。 2sr表:——自动编号, n—大类 .t o i d s— o 3s aI:——自动编号。 I—小类 . l表 i m d s I ma—
表和正常的 B算法的移动表 (HI T L起相同的作用, M S F AB E) T除此之外它还决定最后 x个字符的移动而不是仅仅一个字符。假设现在移动表为每个可能的大小为 x的字符串都包含一个人口,那么它的大小应为 f x。 (际上我们使用一个压缩的表把一些字符串匹配到相∑『实同的人口以节省空间。)每个大小为 B的字符串匹配一个整数作为移动表的索引。这些值决定了当我们扫描文本时我们能向前移动多远。 设 X x…x= l B为我们当前正在扫描的文本中的 x个字符,假设 x和移动表的第 i人口匹配。这里有两种情况:个 f) 1 X和任何模式中的子串都不匹配在这种情况下,以移动文本的 i X 1个字符。何小一点的移可 n+—任动都会使文本的后 x个字符和其中一个模式的子串不匹配。所以记录移动表 S ITi H F[的值为 I X+。] T I 1— f)出现在一些模式中 2x在这种情况下 .以找出 X在所有模式中的最右出现。假设 X在可模式 P的位置 q处结束,并且 x并不结束在任何其他模式中比q大 j的位置。录 S F[的值为 n q这里为了记录移动表的值,记 HITi] l。—单独地考虑每个模式 p= l2 m。匹配讲的每个大小为 B的子串 a—+ iaa…a jX I… a到移动表,且设置相应的值为当前的最小值 (有的初始值都 j并所为 I—+ ) m j ̄达这个子串需要移动的距离 ) T B I和 -(l I J。移动表的值是可以移动的最大安全值。把移动表的任何人口替换为小一点的值会
使移动距离变短而花费更多的时间。但是这样会更安全:没有匹配会被错过。所以使用一个压缩的表,一些字符串匹配到相同的人口只要设把置他们的最小移动为相同的值。在算法中采用了两种方法。当模式的数量少时,取 X 2并且使用精确的移动表;则,取 X=选=。否选 3并且使 用压缩的移动表。
4哈希表的建立 . 只要移动的距离大于 0就能安全地移动并继续扫描。这是大多,数时间发生的情况。 (在一个典型的例子中,于 10个模式 5对 0%的时
4ky od表:enmP .ew rs k、a一 r
关键字:et e—出现的次数 kvm— j
用 ap建立与数据库的连接:o nap s cn .s
,0 0个模式 2%的时间移动值为 0 5 0 7,0 0个模式 5% 3说明:用 Sre. p ah )使 evr P t(表示的路径为文件的相对路径,里间移动值为 0 10 Ma这否则,文本中当前的子串和模式中的一些模式匹配。但是是 cn . p和 ifr ainm b在同一个目录下。数据库建立起来后, on s a no t .d m o将就的时间。)哪个模式呢?为了避免和每个模式的子串都进行比较,用哈希的技使可以建设强大功能的搜索引擎。
根据一个关键字,搜索到相关的资料,这里的“关”相是指资料中 有类似这个关键字的字符串。假设模式的长度为 m。比较 I文本的埘(第 1个字符 )模式的最后一个字符。如果不匹配的话,么根据 t T 1和那 m在模式中的最右出现来决定移动的距离。在自然语言文本中,动的移距离为 m或接近 I的情况会经常发生。然而,于多模匹配,出现 T I对会文本的多个字符和和一些模式的最后一个字符匹配的情况。面要证下
术来最小化需要比较的数量。我们已经计算了 B个字符的一个整数匹配值用做移动表的索引。我们使用相同的整数值作为令一个表的索引,为哈希表。哈希表的第 i称个人口 HA H[, S i包含一个指针指向最]后 B个字符的哈希值为 i模式链表。这样哈希表的大小会小的多,的 因为它只包含一些模式,而移动表包含所有大小为 B的可能的字符串。 h为当前
文本后缀的哈希值,设 S I I]O (转第 1 7页 )设假 H n h=。下 1

面向主题的域内垂直搜索引擎系统的研究与实现_互联网_IT/计算机_专业资料。第3 4卷第1 期 Vo1.34 No.1 宁夏 大学 学报 ( 自然 科 学版 ) Journal of ...
垂直搜索引擎系统的研究与实现垂直搜索引擎系统的研究与实现隐藏>> 第28卷.第1Q期 2009年10月 情报杂志 JOURNAL OF INTELLIGENCE Vd.28 No.10 Oct.2009 垂直...
垂直搜索引擎爬虫系统的研究与实现_理学_高等教育_教育专区。网络爬虫贵州大学 硕士学位论文 垂直搜索引擎爬虫系统的研究与实现 姓名:吴建强 申请学位级别:硕士 专业...
JournalofNingxiaUniversity(NaturalScienceEdition) 2013年3月Mar.2013 文章编号:0253—2328(2013)01—0054—04 面向主题的域内垂直搜索引擎系统的研究与实现王 恒1...
垂直搜索引擎系统的研究与实现_IT/计算机_专业资料。垂直搜索引擎系统的研究与实现第2 8卷 . 第l 9期 情 报 杂 志 200 9年1 0月 JOURLOFITELGNC NA NLIEE...
西安科技大学 硕士学位论文 基于Lucene垂直搜索引擎的研究与实现 姓名:徐海 申请...在这样的背景之 下,垂直搜索引擎便大有作为,下面介绍一些较具有代表性的系统。 ...
面向博客领域的垂直搜索引擎的研究与实现_互联网_IT/计算机_专业资料。PageRank...阐述了通用搜索引擎与垂直搜索引擎在系统架构、工作原理、 关键技术等方面的不同...
垂直搜索引擎的研究与实现_理学_高等教育_教育专区。网络爬虫大连理工大学 硕士...下面是本垂直搜索引擎系统的搜索效果界面: 拄:琏蘑蟾龠蛳渐tItch徽辨一个叠_...
中文垂直搜索引擎研究与实现_建筑/土木_工程科技_专业资料。中文垂直搜索引擎...难以将各种语言信息组 织成机器可直接读取的形式, 因此目前这种分词系统还处在试...
热门文档