文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 信息与通信 > 基于Lucene的校园信息搜索引擎的设计与实现
侵权投诉

基于Lucene的校园信息搜索引擎的设计与实现

9 8

中南民族大学学报 (自然科学版 )

第3 2卷

义了一个与平台无关的索引文件格式,通过抽象将

理,并将索引结构写入到索引文件中;第三阶段是检索阶段,系统检索建立好的索引文件,并且将查询到 的结果返回给用户 .

系统的核心组成部分设计为抽象类,并将与具体平台相关的部分也封装为类,经过层层面向对象编程 的处理,最终达成一个低耦合、高效率、容易二次开发的搜索引擎系统 J .作为一个开放源代码项目, L u c e n e以其优异的索引结构、良好的系统架构获得 了越来越多的应用 .

1 l 链接磊信 息 [一抓==焉 敷后的刚则 恩二—— 抓取的网页资源

2系统总体设计 按照相关功能,系统分为两大部分:网页资源采广————]

集与索引、检索与展示 .网页资源采集和索引部分包 l蘩崭霭赛籍嚣蓄 E荔篙 括了网页资源采集、资源处理与索引两大模块,检索一

(基于 l ̄ l l c e n e的校园信息搜索引擎 ) l

厂 I—系——统—用—户] 鬻二 图 2系统数据流程图 F i g . 2 S y s t e m d a t a l f o w d i a g r a m

网页资源采集与索引]( 检索与展示 ] 上 _ L 上一』 _ 网页资源采集资源处理与 索 引

数据检索

网页快昭

关键字过滤

3系统详细设计 3 . 1 网页资源采集模块

图 1系统模块设计图 F i g . 1 S y s t e m mo d u l e d e s i g n

网页资源采集模块主要负责从网络上抓取相关网页信息,即通常所说的网络爬虫 S p i d e r .网络爬虫

采用多线程,多个线程 ( S p i d e r Wo r k e r )同时下载网

本系统结构由 3个部分组成:数据库服务器,搜索引擎核心服务器, T o mc a t We b服务器,各部分既分工明确又相互合作 .数据库服务器记录资源抓取

页资源.而下载的网页和需要下载的网页的相关信息存储在数据库中,并且网页需要更新 .基于以上考虑, S p i d e r的功能实现主要从以下几个方面进行. ( 1 )多线程的控制.在有多个任务时,多个工作 者线程 ( S p i d e r Wo r k e r )在取得爬行任务后,往任务队列中添加新发现的任务 .在没有任务时,多个线程只剩下一个,监视是否有任务需要执行,如果有任务

情况、索引情况,它与搜索引擎核心服务器协作完成资源的下载更新与索引,同时通过记录网页的抓取历史,使网络爬虫具备了自动学习的功能,即根据网 页的更新频率来调整自身的抓取频率. T o m c a t服务器比较独立,与其他部分没有交互,但是它的数据来源于前面索引好的索引文件,同时其网页快照功能实现也是以网络爬虫抓取的原始网页文件为基 础的.

且不止一个,它就会唤醒另一个睡眠的线程,而其他线程在没有任务时就会进入睡眠状态.基于以上考虑,所有的工作者线程都由某个线程 ( S p i d e r )掌管, 通过该线程 ( S p i d e r )可以控制网络爬虫的运行或停止;

整个系统运行的数据流程如图 2所示:第一阶段网络爬虫从数据库中获取需要抓取的网页信息, 进行网页的下载,下载后需要将下载时间、文件存放路径等信息记录到数据库中,同时将下载的文件存

( 2 )由于工作者线程不能下载相同的网页 (已 经下载过的 ),所以必须将已经下载过的网页的相

放在硬盘上;第二阶段是 L u c e n e建立索引阶段,先从数据库中取得需要建立索引的任务,然后进行处

关信息(地址、下载时间等)进行保存,鉴于要处理的网页较多,所以采用数据库对网页的相关信息进

基于Lucene的校园信息搜索引擎的设计与实现

上一页第2页

你可能喜欢

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email