阐述了Web全文搜索引擎的工作原理及其性能指标,指出当前Web搜索引擎存在精度偏低、用户体验不理想、商业氛围过浓等问题,提出搜索引擎未来发展的方向.
第3 l卷第 1 2期 2011 1 年 2月
成
宁
学
院
学
报
Vo . 1 31, .1 No 2 De . 01 c2 l
J u n lo a n n ie s y o r a fXin i g Unv ri t
文章编号:0 6~ 3 2 2 1 )2— 18—0 10 5 4 (0 1 1 0 0 2
We索引擎设计原理与发展方向探究 b搜 宋婷婷 (建农林大学软件工程学院,福福建福州 300 ) 502 摘要:阐述了 We b全文搜索引擎的工作原理及其性能指标,出当前 we搜索引擎存在精度偏低、指 b用户体验不
理想、商业氛围过浓等问题,出搜索引擎未来发展的方向.提 关键词:索引擎; b发展搜 we; 中图分类号:P 1 T 3 引言
文献标识码: A
分析在 We结构挖掘中处于核心地位, b我们必须分析出每 一
2纪9 0世 0年代初,阿帕网正式实现商用,全球范围内的计算机互联网开始形成,使得世界各地的距离拉近,而然人们更多的通过电子邮件进行互联网通信 .们需要一种人 平台,见即所得地反映所需的信息,9 3年 W3所 19 C提出的 We b平台宣告诞生,此后, b这词几乎成了互联网的代名 We词,们通过网页可实现真正意义上的网际冲浪.时,人此 We b的数量也在迅速增长.据统计,19 9 8年互联网上的 We b页面已经达到了 2o 6 0万个,了 20到 0 0年就突破了 1 O
个页面的出度、度,于后面页面重要性权值的计算.人便
对网页提取特征信息后,由定义的 D D生成该网页的 X T ML文档,通过其中的自定义标签来记录信息. 1 3信息的索引 .在搜索引擎中需要根据页面内容建立索引,提高搜索引擎的效率,因为对于海量的数据来说,用 Lk使 i e语句这样的匹配方法来查询,其速度是十分低下的.外,另为进一
步提高检索效率,在建立索引之前,我们必须对页面中的内 容进行分词处理,是通过分词器来进行的,它比如,中华将“
亿,了1到 0年后的 2 0年更是达到了 1 08万亿个页面. 但是,时的 We此 b已经不像它诞生时那样精炼,是而
人民”,分割成“中华”“民”根据这些切分好的词汇,、人,构建索引,当然要实现例子中所展示的精确分词效果,还
需有个分词词库来协助完成工作. 14信息的查询检索 . 通常,搜索引擎都会有个 We b界面,过该界面上的通浏览器控件,用户可填入所要查询的关键词并将信息通过控件提交给引擎服务器.此时,服务器端就会根据用户所提
充满了冗余数据,决该问题的途径就是建立互联网搜索解 引擎,际上搜索引擎几乎是伴随着因特网一起诞生的.实 目前已存在的搜索引擎大致可以分为三类:文搜索全
引擎、目录搜索引擎与元搜索引擎三种.中技术要求最高其 的是全文搜索引擎,它需要包括信息抓取、分词、引、索索搜等几个重要步骤,当前,大部分的搜索引擎研究都是围绕着全文搜索引擎来开展的. 1全文搜索引擎原理 1 1信息抓取 .信息抓取是由 Sie( pdr网络蜘蛛 )实现的, p e只来 Si r d
交关键词访问数据库,迅速地根据之前建立的索引找到跟主题相关的页面及其附属信息,此即信息检索. 1 5信息检索结果排序 .如果不讨论 We结构挖掘, b通常情况下信息排序只考
是段程序,能够从起始页面顺着超链接访问其他页面,互联网上的页面就是通过超链接上的 U L构成了一个网状的 R集合,因此,pdr S ie从一个或一组 U L开始, R访问该 U L并 R 进行本地索引,同时记录该 U L所指 H ML文件中所有新 R T
虑用户查询的关键词在页面中出现的次数,次数越高的,排 名越前 .是: We要考虑 b结构,还须分析这些页面的出度,入
度,让被其他页面链接次数最多的页面(即权威页面 )排在 最前,这就需根据一定的算法规则 ( P gR n、 IS分如 ae ak H T )
的 U L锚链 (n hr;后再以这些新的 U L为起点, R aco)然 R继 续进行该站点内的爬行,直到再没有满足条件的新 U L为 R
析,计算出结构的权值,根据这些权值进行排序. 16信息的用户接口输出 . 信息的输出即将前面生成的结果用 We b界面的形式
止.通常搜索引擎会生成多个信息采集 Si r自动根据初 p e, d始搜索列表和一定的搜索策略去站点搜集文档,同时把所经页面内容保存在数据库中,便于建立索引. 1信息的分析、 . 2存储对由 Si r集的文档, p e搜 d从搜索引擎服务器中提取出 表达
文档的特征信息,了使开发出来的系统能够实现模为糊查询,还须分析建立关键词的近义词库.另外,级链接超
传递给用户,它是搜索引擎本次查询工作的终点,终端用户由此获得查询结果,同时评价该搜索引擎的性能. 2搜索引擎的主要性能指标 2 1召回率——查全率 .搜索引擎的召回率指的是搜索引擎的检索结果中与主题相关的页面数除以当前整个网络 We b环境中与主题相
十
收稿日期:0 1—1 21 0-1 3

WEB搜索引擎分析设计与实现_文学_高等教育_教育专区...5 第 3 章 搜索引擎的原理 ... 7...1.2 国内外关于该论题的研究现状和发展趋势 WWW 中文搜索引擎带有...
WEB 搜索引擎的原理与实现研究 摘要:随着中国经济的飞速发展,网络与通信技术的...这就需要把用户感兴趣的结果排在前面,这是十分重要的,所以怎样设计结果集的排序...
为用户提供 Web 信息查询服务.具体的说是通过一个...用户接口的设计和实现使用人机交互的理论和方法,以 ...1.3 搜索引擎的发展历史信息检索的研究与互联网的...
Web搜索引擎原理及应用研究_专业资料。对web搜索引擎的定义、原理、流程以及分词等相关知识做了简单阐述,并结合Google例子对Web搜索引擎的应用技术进行分析.最后讨论...
Web社区搜索引擎的研究与设计_专业资料。Web社区是组织之间实现信息交流、共享和...论文分析了Web社区搜索的特点,介绍了Web搜索引擎的基本原理.基于Web抓取器,向量...
WEB搜索引擎的原理与实现研究_互联网_IT/计算机_... 摘 要 随着中国经济的飞速发展 , 市场需求的不断... 2013年注会设计统考真题及答案160份文档 ...
喜欢此文档的还喜欢 WEB搜索引擎分析设计与实现... 41页 10财富值... WEB 搜索引擎的原理与实现研究 2800 摘要:随着网络与通信技术的运用和迅速发展...
了通用搜索引擎的发展、分类以及它的结构和工作原理...(2)分析了主题Web搜索的发展现状、研究背景,主题...给出了系统设计结构图,系统实现的关键技术和方法,并...
web信息检索系统的设计及应用第4章 Web搜索引擎的原理与结构本章目录 4.1搜索...向个性化方向发展 4.2搜索引擎的体系结构 4.2.1搜索引擎的基本结构 4.2.2 ...
Web 搜索引擎设计和实现分析 --- 随着 Internet 的飞速发展, 人们越来越依靠网络来查找他们所需要的信息, 但是, 由于网上的信息源多不胜数,也就是我们经常所说...
热门文档