第 4期
杨
单:基于 L u c e n e的校园信息搜索引擎的设计与实现
行存储.所以此部分主要涉及对数据库的相关操作; ( 3 )工作者线程的工作主要是从网页上下载网 页,并对网页进行解析,
所以该部分主要工作是利用 s o c k e t取得网页文件,并对网页内容进行解析,将网页中找到的网页地址的相关信息存储到数据库中; ( 4 )由于当工作者线程在解析一个网页时,在 一
E x c e l文档处理:使用 j x 1包里面的 j x 1 . C e l l、 j x 1 .
S h e e t、 j x 1 . Wo r k b o o k三个类进行信息的抽取; j x l是 个开源的操作 E x c e l的J a v a包 .
P D F文档的处理:使用 P D F B o x包里面的 o r g . p d f b o x .p d mo d e 1 . P DDo c u me n t、o r g .p d f b o x . u t i l .
P D F T e x t S t r i p p e r两个类, P D F B o x是J a v a实现的 P D F
这个网页中可能发现多个网页地址 (本站点或其他 站点的),所以在设计时可以根据实际需要确定是否将在本站点发现的外部站点链接加入到工作者队列中,如果添加还可对其深度进行控制 .如只抓取在
文档协作类库,提供 P D F文档的创建、处理以及文档内容提取功能,也包含了一些命令行实用工具 .主 要特性包括:从P D F提取文本,合并 P D F文档, P D F 文档加密与解密,与L u c e n e搜索引擎的集成,填充 P D F/ X F D F表单数据,打印 P D F文档等.
本站点发现的该外部链接,该外部链接上发现的链 接不予处理,即其抓取外部链接的深度为 1 . 网络爬虫数据处理流程图如图 3所示 .
L u c e n e建立索引阶段,先从数据库中取得需要建立索引的任务,然后进行处理,并将索引结构写入到索引文件中. 3 . 3检索模块
1数据库中的网页
I地址及相关信息 L—— r— _ T—一
耐 l
载任务l l
I
如果数据库中有正在等待处理的网页地址时, 才能取得任务
用户输入关键字后,系统会对关键字进行分析, 判断关键字是否为敏感词汇,如果为敏感词直接返回,并提示用户系统对该关键字进行过滤;如果不是敏感词,则系统检索已经建立好的索引文件,并对检
’。。。。。。。。。。。。。。。。‘‘‘ _’。 ’。。。。。。。。。。。
。。。。。。。。。。。。一
I对该地址发起请求 取得H T T P头
索结果进行分页处理,最后将合适的结果返回给 用户.
曩是薯否 需萎要釜更 新/ \/
该处提到的判断关键字是否为敏感词汇的方法是采取建立敏感词库的方式,不断将某些词汇添加
到该词库,在具体的检索时,将用户输入的关键字进行分词,在敏感词库中进行检索,如果关键字存在敏 墨/ 致据库中是否 \有该网页地址 下载网页内容存储将网页地址存在硬盘上,并提取储到数据库中 网页中的地址
感词汇,将直接返回,不再进行检索. 3 . 4数据库设计
图3 网络爬虫数据处理流程图 F i g . 3 Pr o c e s s i n g lo f w c h a r t o f s p i d e r d a t a
在本系统中,需要利用数据库记录网络资源采集的相关信息,资源采集包括 We b网页采集、 F 1 1 P 采集、数据库采集,具体涉及到以下几个表 . ( 1 )表 D o w n L o a d e r Wo r k l o a d .
3 . 2资源处理与索引模块 L u c e n e建立索引采用的也是多线程的实现方
该表存储是 F T P文档采集的文件信息, F T P文 档采集时有两种线程:一种是文件发现线程 (F i l e F i n d e r),另一种是文件下载线程
式,基本上实现方式与 WE B采集、 F T P采集类似,目 前主要可以对文本类文件 ( t x t、 h t m l、 s h t m l、 x m1 )、
( D o w n L o a d e r ), F i l e F i n d e r将发现的文件信息存储在 D o w n L o a d e r Wo r k l o a d表中,而进行下载 . ( 2 )表 S p i d e r Wo r k l o a d . D o w n L o a d e r从
w o r d文档、 e x c e l文档、 p d f文档、数据库中的记录等建立索引 . 纯文本类文件处理:对于文本类文件的处理没
D o w n L o a d e r Wo r k l o a d表取得需要下载的文件的信息
有使用 L u c e n e内置的类,而是直接使用 j a v a . i o . B u f f e r e d R e a d e r和j a v a . i o . F i l e R e a d e r,通过它们读取
文件,并且将空格去掉.
该表用于记录 We b网页采集信息,与 D o w n L o a d e r Wo r k l o a d表功能类似. ( 3 )表 I n d e x S o u r c e .
Wo r d文档处理:使用 o r g .t e x t m i n i n g . t e x t . e x t r a c t i o n . Wo r d E x t r a c t o r进行处理,它是 a p a c h e下解析w o r d文件的一个类.
该表用于记录从数据库中采集的信息. ( 4 )视图 I n d e x R e s o u r c e .

龙源期刊网 http://www.qikan.com.cn 基于 Lucene 的校园网智能搜索引擎的设计 与实现 作者:董李鹏 高东怀 张迎 靳豪杰 孟颖翔 来源:《现代电子技术》2013 ...
基于Lucene的校园网搜索引擎的设计与实现 利用基于校园网的搜索引擎来搜索学校局域网内的信息已成为人们关注的热点,一方面是因为校园网内信息量不断增加,利用搜索...
基于Lucene的校园网智能搜索引擎的设计与实现_互联网_IT/计算机_专业资料 暂无评价
基于Lucene的校园网垂直搜索引擎的设计与实现_互联网_IT/计算机_专业资料。第 ...在高校的校园网信息检索应用领域, 实现了基于 Lucene 技术的中文校园网垂直搜索...
基于Lucene.Net校园网搜索引擎的设计与实现 在庞大的网络信息资源利用中,搜索引擎成为人们发现资源的有力工具。但是如果用常用的搜索引擎去搜索专门的门户网站,或者...
2006 COMPU TER TECHNOLO GY AND DEV ELOPM EN T 基于 Lucene. Net 校园网搜索引擎的设计与实现蔡建超 ,郭一平 ,王 亮 ( 华中科技大学 控制科学与工程系 ,...
基于lucene的校园网搜索引擎_专业资料。现代网络信息化水平日益提高,网页信息量急剧增加,搜索引擎已经成为人们获取所需知识的必要工具之一。本文结合校园网搜索引擎的...
基于Lucene的文本搜索引擎的设计和实现_专业资料。随着局域网信息的海量增长,个性化的轻量级搜索引擎已经被中、小型企业和校园关注和青睐。本文在研究搜索引擎基本原理...
基于lucene 的校园网搜索引擎〔提要〕 现代网络信息化水平日益提高, 网页信息量...[5]胡俊,李星.校园网信息资源搜索引擎的研究与实现[j].计算 机工程与设计,...
基于Lucene_Net校园网搜... 4页 免费喜欢此文档的还喜欢 基于JAVA的搜索引擎...基于 L ucene 的全文搜索引擎的设计与实现 3 The Research of Lucene Search ...
热门文档