文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 信息与通信 > 基于Lucene的校园信息搜索引擎的设计与实现
侵权投诉

基于Lucene的校园信息搜索引擎的设计与实现

第 4期

杨

单:基于 L u c e n e的校园信息搜索引擎的设计与实现

行存储.所以此部分主要涉及对数据库的相关操作; ( 3 )工作者线程的工作主要是从网页上下载网 页,并对网页进行解析,

所以该部分主要工作是利用 s o c k e t取得网页文件,并对网页内容进行解析,将网页中找到的网页地址的相关信息存储到数据库中; ( 4 )由于当工作者线程在解析一个网页时,在 一

E x c e l文档处理:使用 j x 1包里面的 j x 1 . C e l l、 j x 1 .

S h e e t、 j x 1 . Wo r k b o o k三个类进行信息的抽取; j x l是 个开源的操作 E x c e l的J a v a包 .

P D F文档的处理:使用 P D F B o x包里面的 o r g . p d f b o x .p d mo d e 1 . P DDo c u me n t、o r g .p d f b o x . u t i l .

P D F T e x t S t r i p p e r两个类, P D F B o x是J a v a实现的 P D F

这个网页中可能发现多个网页地址 (本站点或其他 站点的),所以在设计时可以根据实际需要确定是否将在本站点发现的外部站点链接加入到工作者队列中,如果添加还可对其深度进行控制 .如只抓取在

文档协作类库,提供 P D F文档的创建、处理以及文档内容提取功能,也包含了一些命令行实用工具 .主 要特性包括:从P D F提取文本,合并 P D F文档, P D F 文档加密与解密,与L u c e n e搜索引擎的集成,填充 P D F/ X F D F表单数据,打印 P D F文档等.

本站点发现的该外部链接,该外部链接上发现的链 接不予处理,即其抓取外部链接的深度为 1 . 网络爬虫数据处理流程图如图 3所示 .

L u c e n e建立索引阶段,先从数据库中取得需要建立索引的任务,然后进行处理,并将索引结构写入到索引文件中. 3 . 3检索模块

1数据库中的网页

I地址及相关信息 L—— r— _ T—一

耐 l

载任务l l

I

如果数据库中有正在等待处理的网页地址时, 才能取得任务

用户输入关键字后,系统会对关键字进行分析, 判断关键字是否为敏感词汇,如果为敏感词直接返回,并提示用户系统对该关键字进行过滤;如果不是敏感词,则系统检索已经建立好的索引文件,并对检

’。。。。。。。。。。。。。。。。‘‘‘ _’。 ’。。。。。。。。。。。

。。。。。。。。。。。。一

I对该地址发起请求 取得H T T P头

索结果进行分页处理,最后将合适的结果返回给 用户.

曩是薯否 需萎要釜更 新/ \/

该处提到的判断关键字是否为敏感词汇的方法是采取建立敏感词库的方式,不断将某些词汇添加

到该词库,在具体的检索时,将用户输入的关键字进行分词,在敏感词库中进行检索,如果关键字存在敏 墨/ 致据库中是否 \有该网页地址 下载网页内容存储将网页地址存在硬盘上,并提取储到数据库中 网页中的地址

感词汇,将直接返回,不再进行检索. 3 . 4数据库设计

图3 网络爬虫数据处理流程图 F i g . 3 Pr o c e s s i n g lo f w c h a r t o f s p i d e r d a t a

在本系统中,需要利用数据库记录网络资源采集的相关信息,资源采集包括 We b网页采集、 F 1 1 P 采集、数据库采集,具体涉及到以下几个表 . ( 1 )表 D o w n L o a d e r Wo r k l o a d .

3 . 2资源处理与索引模块 L u c e n e建立索引采用的也是多线程的实现方

该表存储是 F T P文档采集的文件信息, F T P文 档采集时有两种线程:一种是文件发现线程 (F i l e F i n d e r),另一种是文件下载线程

式,基本上实现方式与 WE B采集、 F T P采集类似,目 前主要可以对文本类文件 ( t x t、 h t m l、 s h t m l、 x m1 )、

( D o w n L o a d e r ), F i l e F i n d e r将发现的文件信息存储在 D o w n L o a d e r Wo r k l o a d表中,而进行下载 . ( 2 )表 S p i d e r Wo r k l o a d . D o w n L o a d e r从

w o r d文档、 e x c e l文档、 p d f文档、数据库中的记录等建立索引 . 纯文本类文件处理:对于文本类文件的处理没

D o w n L o a d e r Wo r k l o a d表取得需要下载的文件的信息

有使用 L u c e n e内置的类,而是直接使用 j a v a . i o . B u f f e r e d R e a d e r和j a v a . i o . F i l e R e a d e r,通过它们读取

文件,并且将空格去掉.

该表用于记录 We b网页采集信息,与 D o w n L o a d e r Wo r k l o a d表功能类似. ( 3 )表 I n d e x S o u r c e .

Wo r d文档处理:使用 o r g .t e x t m i n i n g . t e x t . e x t r a c t i o n . Wo r d E x t r a c t o r进行处理,它是 a p a c h e下解析w o r d文件的一个类.

该表用于记录从数据库中采集的信息. ( 4 )视图 I n d e x R e s o u r c e .

基于Lucene的校园信息搜索引擎的设计与实现

上一页第3页

你可能喜欢

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email