9 8
中南民族大学学报 (自然科学版 )
第3 2卷
义了一个与平台无关的索引文件格式,通过抽象将
理,并将索引结构写入到索引文件中;第三阶段是检索阶段,系统检索建立好的索引文件,并且将查询到 的结果返回给用户 .
系统的核心组成部分设计为抽象类,并将与具体平台相关的部分也封装为类,经过层层面向对象编程 的处理,最终达成一个低耦合、高效率、容易二次开发的搜索引擎系统 J .作为一个开放源代码项目, L u c e n e以其优异的索引结构、良好的系统架构获得 了越来越多的应用 .
1 l 链接磊信 息 [一抓==焉 敷后的刚则 恩二—— 抓取的网页资源
2系统总体设计 按照相关功能,系统分为两大部分:网页资源采广————]
集与索引、检索与展示 .网页资源采集和索引部分包 l蘩崭霭赛籍嚣蓄 E荔篙 括了网页资源采集、资源处理与索引两大模块,检索一
(基于 l ̄ l l c e n e的校园信息搜索引擎 ) l
厂 I—系——统—用—户] 鬻二 图 2系统数据流程图 F i g . 2 S y s t e m d a t a l f o w d i a g r a m
网页资源采集与索引]( 检索与展示 ] 上 _ L 上一』 _ 网页资源采集资源处理与 索 引
数据检索
网页快昭
关键字过滤
3系统详细设计 3 . 1 网页资源采集模块
图 1系统模块设计图 F i g . 1 S y s t e m mo d u l e d e s i g n
网页资源采集模块主要负责从网络上抓取相关网页信息,即通常所说的网络爬虫 S p i d e r .网络爬虫
采用多线程,多个线程 ( S p i d e r Wo r k e r )同时下载网
本系统结构由 3个部分组成:数据库服务器,搜索引擎核心服务器, T o mc a t We b服务器,各部分既分工明确又相互合作 .数据库服务器记录资源抓取
页资源.而下载的网页和需要下载的网页的相关信息存储在数据库中,并且网页需要更新 .基于以上考虑, S p i d e r的功能实现主要从以下几个方面进行. ( 1 )多线程的控制.在有多个任务时,多个工作 者线程 ( S p i d e r Wo r k e r )在取得爬行任务后,往任务队列中添加新发现的任务 .在没有任务时,多个线程只剩下一个,监视是否有任务需要执行,如果有任务
情况、索引情况,它与搜索引擎核心服务器协作完成资源的下载更新与索引,同时通过记录网页的抓取历史,使网络爬虫具备了自动学习的功能,即根据网 页的更新频率来调整自身的抓取频率. T o m c a t服务器比较独立,与其他部分没有交互,但是它的数据来源于前面索引好的索引文件,同时其网页快照功能实现也是以网络爬虫抓取的原始网页文件为基 础的.
且不止一个,它就会唤醒另一个睡眠的线程,而其他线程在没有任务时就会进入睡眠状态.基于以上考虑,所有的工作者线程都由某个线程 ( S p i d e r )掌管, 通过该线程 ( S p i d e r )可以控制网络爬虫的运行或停止;
整个系统运行的数据流程如图 2所示:第一阶段网络爬虫从数据库中获取需要抓取的网页信息, 进行网页的下载,下载后需要将下载时间、文件存放路径等信息记录到数据库中,同时将下载的文件存
( 2 )由于工作者线程不能下载相同的网页 (已 经下载过的 ),所以必须将已经下载过的网页的相
放在硬盘上;第二阶段是 L u c e n e建立索引阶段,先从数据库中取得需要建立索引的任务,然后进行处
关信息(地址、下载时间等)进行保存,鉴于要处理的网页较多,所以采用数据库对网页的相关信息进

龙源期刊网 http://www.qikan.com.cn 基于 Lucene 的校园网智能搜索引擎的设计 与实现 作者:董李鹏 高东怀 张迎 靳豪杰 孟颖翔 来源:《现代电子技术》2013 ...
基于Lucene的校园网搜索引擎的设计与实现 利用基于校园网的搜索引擎来搜索学校局域网内的信息已成为人们关注的热点,一方面是因为校园网内信息量不断增加,利用搜索...
基于Lucene的校园网智能搜索引擎的设计与实现_互联网_IT/计算机_专业资料 暂无评价
基于Lucene的校园网垂直搜索引擎的设计与实现_互联网_IT/计算机_专业资料。第 ...在高校的校园网信息检索应用领域, 实现了基于 Lucene 技术的中文校园网垂直搜索...
基于Lucene.Net校园网搜索引擎的设计与实现 在庞大的网络信息资源利用中,搜索引擎成为人们发现资源的有力工具。但是如果用常用的搜索引擎去搜索专门的门户网站,或者...
2006 COMPU TER TECHNOLO GY AND DEV ELOPM EN T 基于 Lucene. Net 校园网搜索引擎的设计与实现蔡建超 ,郭一平 ,王 亮 ( 华中科技大学 控制科学与工程系 ,...
基于lucene的校园网搜索引擎_专业资料。现代网络信息化水平日益提高,网页信息量急剧增加,搜索引擎已经成为人们获取所需知识的必要工具之一。本文结合校园网搜索引擎的...
基于Lucene的文本搜索引擎的设计和实现_专业资料。随着局域网信息的海量增长,个性化的轻量级搜索引擎已经被中、小型企业和校园关注和青睐。本文在研究搜索引擎基本原理...
基于lucene 的校园网搜索引擎〔提要〕 现代网络信息化水平日益提高, 网页信息量...[5]胡俊,李星.校园网信息资源搜索引擎的研究与实现[j].计算 机工程与设计,...
基于Lucene_Net校园网搜... 4页 免费喜欢此文档的还喜欢 基于JAVA的搜索引擎...基于 L ucene 的全文搜索引擎的设计与实现 3 The Research of Lucene Search ...
热门文档