基于Web的全文搜索引擎的设计与实现
第 31 卷 第 20 期 计 算 机 工 程
Computer EngineeringVol.31 № 20 · 基金项目论文 ·
文章编号:1000—3428(2005)20—0051—03
文献标识码:A
2005年10月
October 2005
中图分类号:TP391
基于Web的全文搜索引擎的设计与实现
陈 康1,许 婷2,戴文俊1,武港山1
(1. 南京大学计算机科学与技术系,南京 2100931;2.南京大学计算机软件新技术国家重点实验室,南京 210093)
摘 要:介绍了一个基于Web的全文搜索引擎的设计及其实现,并对该搜索引擎的基本框架设计和主要功能模块的实现作了详细介绍,最后给出了相应的试验结果。
关键词:搜索引擎;信息检索;信息获取
Design and Implementation of Web-based Full-text Search Engine
CHEN Kang1, XU Ting2, DAI Wenjun1, WU Gangshan1
(1. Department of Computer Science & Technology, Nanjing University, Nanjing 2100931; 2. State Key Laboratory for Novel Software Technology, Nanjing University, Nanjing 210093)
【Abstract】This paper introduces the design and implementation of a Web-based full-text search engine. It gives the design of the system’sframework and the implementation of function modules in detail, and in the end, it gives the test result of the system. 【Key words】Search engine; Information searching; Information retrieving
随着互联网的快速发展,越来越丰富的信息呈现在用户
面前,但同时伴随的问题是用户越来越难以获得其最需要的信息。为了解决此问题,出现了网络搜索引擎。网络搜索引擎中以基于WWW的搜索引擎应用范围最为广泛。网络搜索引擎是指对WWW站点资源和其它资源进行索引和检索的一类检索机制。它一般由数据采集(搜索Crawler)、文档组织和索引、查询服务3个服务模块组成,如图1所示。

图1 系统总体框架图
到正文库中。第3部分是检索服务部分,它提供了信息检索和检索结果展现的功能,同时也还可以对检索参数进行设置。 第4部分是系统管理部分,主要提供了一些有关系统运行参数的设置,用户管理等功能,是本搜索引擎系统的一个辅助部分。最后一个部分是库文件部分,系统有多个库,其中包括索引库、正文库、元数据库,还包括其它一些辅助库,后面会对其中的部分库的组织作详细的介绍。
1.2 功能模块设计
从功能上来讲,本系统由多个模块组成。首先,预处理部分主要由两个功能模块组成:Web页面下载模块和文档格式转换格式两个模块。文档处理部分由两个模块组成:文档索引模块和文档元数据管理模块,其中文档的正文管理功能包含在文档元数据管理模块中。系统管理部分包括用户管理模块、运行参数管理模块等多个功能模块。检索服务部分主要由查询处理模块和结果展现模块组成。
2 主要功能模块的实现
2.1 Web页面下载模块
Web页面下载模块相当于搜索引擎中的网络Crawler。它的主要功能是从网络上收集需要处理的各种信息并做一些预处理,然后将这些信息提交给其他的功能模块。
它的基本算法是由一组种子URL开始,重复以下过程:从种子URL集中取得一个URL,确定相应主机的IP地址,下载相应的文档,对于非重复的文档提取出包含在其中的链接,对于提取出来的链接,如果是相对链接,就将其转化为绝对链接。然后对链接按一定策略进行过滤,通常包括检验该链接是否进行过下载以及对链接是否需要进行下载,如果
基金项目:国家自然科学基金资助项目(60073030);国家“863”计划基金资助项目(2002AA117010-10)
作者简介:陈 康(1981—),男,硕士生,研究方向为信息检索; 许 婷、戴文俊,硕士生;武港山,副教授
收稿日期:2004-08-14 E-mail:ckang@graphics.nju.edu.cn
搜索引擎中各模块的主要功能如下:
(1)搜索Crawler:用于WWW的遍历和网页的下载。
(2)文档的索引和组织:对Crawler收集到的网页和相关的描述信息经索引组织后存储在索引库中。
(3)查询服务:负责接受用户查询和进行数据库检索,并将结果集按相关度返回给用户。
1 系统总体设计
1.1 系统框架
该搜索引擎系统的总体框架见图1。从结构上来看,该系统由5个部分构成,第1部分的是预处理部分,它的主要功能是进行Web页面的下载,并对下载下来的文档进行文档格式转换,提取出其中的文字信息,以利于后续的处理。第2部分的是文档处理部分,其主要功能有3个:(1)将经过预处理之后的文档信息进行索引并存放到索引库中;(2)提取出文档的元信息添加到元数据库中;(3)将文档的正文信息添加
—51—
WEB搜索引擎分析设计与实现... 41页 10财富值 Web服务搜索引擎的设计与实... 4页 免费 基于Web的全文搜索引擎的设... 3页 20财富值 基于web的百万级ftp...
WEB搜索引擎分析设计与实现_文学_高等教育_教育专区。WEB搜索引擎分析设计与实现...4 2.3.1 全文搜索引擎... 5 2.3.2 目录索引......
基于Web的全文搜索引擎的设... 3页 20财富值 基于web的百万级ftp搜索引..... Web 搜索引擎设计和实现分析引言 --- 随着 Internet 的飞速发展,人们越来越依靠...
研究了基于deepWeb的垂直搜 索引擎设计,实现了一个面向deepWeb的垂直搜 索引擎原型系统.1 间维数,从而提高分类工作的速度和效率.特征选取 方法普遍通过对特征项所...
Web服务搜索引擎的设计与实现_IT/计算机_专业资料。第 28卷第 1期 2011年 ...L ucene是一个基于 Java 的全文索引引擎工 具包, 可以方 便 地嵌入到各种...
基于web的地图搜索引擎设计与实现基于web的地图搜索引擎设计与实现隐藏>> 基于...服务方式为面向网页 的全文检索。这类搜索引擎的优点是返回结果 的信息量更大、...
基于WEB的面向主题搜索引擎的设计与实现_互联网_IT/计算机_专业资料。第 ! 卷 ? # 第期 ? : 计 算机 工程与设计 &? 5 4 36 年卜 月 %% 6 % # ...
基于WEB的文件搜索引擎设计与实现_专业资料。本文分析和设计了一个基于WEB的文件搜索引擎,并在asp.net、sql server 2005环境下用C#语言编程实现了该FTP搜索引擎的...
无论是站内信息检索还是特定的Web信息搜集,都离不开全文搜索引擎系统的核心模块—网络爬虫,本文详细介绍——数核了一种设计及实现方案,包括页面搜集器和页面索引器...
基于web的百万级ftp搜索引擎的设计与实现_IT/计算机_专业资料。基于web的百万级ftp搜索引擎的设计与实现第!" 卷第 % 期 !""" 年 % 月文章编号: ( )"")...
热门文档