文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 互联网 > 基于Lucene的全文搜索引擎的设计与实现
侵权投诉

基于Lucene的全文搜索引擎的设计与实现

关于搜索的论文

基于Lucene硇茔文搜索引擎硇设计与实坝

TheResearchofLuceneSearch

*

何伟1薛素静2孔梦荣3杨正党3

(1.郑州大学成教学院;2.华北水利水电学院信息工程系;3.中原工学院计科系)

摘要

Lucene是一个用Java写的全文搜索引擎工具包,支持多用户访问,访问索引速度快,可以跨平台使用。分析

了Lucene的索引原理,根据Lucene的系统结构详细分析了Lucene分析器、索引包、文档等结构,实现了一个基于Lucene的中文诗词全文搜索应用实例。关键词

查询分析嚣

读索引

写索引

Lucene

Lucene是一个信息检索的函数库(“brary),用户可以基于它开发出各种全文搜索的应用¨.2J。它是一个全文检索引擎的架构,提供了完整的查询引擎、索引引擎及部分文本分析引擎(英文与德文两种西方语言)。作为一个开放源代码项目,Lucene从问世之后,引发了开放源代码社群的巨大反响,它不仅能用来构建具体的全文检索应用,而且可被集成到各种系统软件中构建web等多种应用。例如,某些商业软件也采用了Lucene作为其内部全文检索子系统的核心。

l

台相关的部分比如文件存储也封装为类,经过层层的面向对象式的处理,最终达成了一个低耦合高效率,容易二次开发的检索引擎系统。Lucene的系统结构主要有两条主线:第一,分析器对被索引文件进行切词,然后通过索引核心对切词后的数据建立索引。第二,org.apache.Lucene.search通过检索条件或org.apache.Iucene.queryParSer生成的查询语句进行查询并返回查询结果。图1是Lucene系统的结构组织图。

2.1分析器Analyzer分析器主要用于切词,一段文档输入以后,经过AnaIyzer,输出时只剩下有用的部分,其他部分被剔除。分析器提供了抽象的接口,因此语言分析(Analyser)是可以

Lucene检索原理

Lucene的检索算法属于索引检索,即用空间来换取时间,

定制的。因为Lucene缺省提供了2个比较通用的分析器sim—pIeAnalySer和standardAnalySer,这2个分析器缺省都不支持中文,所以要加入对中文语言的切分规则,需要修改这2个分析

对需要检索的文件、字符流进行全文索引,在检索的时候对索引进行快速的检索,得到检索位置,这个位置记录检索词出现的文件路径或者某个关键词【3.4J。

在使用数据库的项目中,一般不使用数据库进行检索,其主要原因是数据库在非精确查询的时候使用查询语言“Iike%keyword%”,对数据库进行查询是对所有记录遍历,并对字段进行“%keyword%”匹配,在数据库的数据庞大以及某个字段存储的数据量庞大的时候,这种遍历是低效的,它需要对所有的记录进行匹配查询。而Lucene刚好弥补了这方面的缺陷,它主要适用于文档集的全文检索,以及海量数据库的模糊检索,特别是对数据库的xmI或者大数据的字符类型的字段进行检索更显示出它的高效性。

图1

2.2

Lucene系统的结构组织圈

2

Lucene的系统结构分析

Lucene作为一个优秀的全文检索引擎,其系统结构具有很

org.apache.1ucene.index索引包是整个系统核心,主

要提供库的读写接口,通过该包可以创建库、添加删除记录及读取记录等。全文检索的根本就为每个切出来的词建立索引,查询时只需要遍历索引,而不需要遍历整个正文,从而极大地提高了检索效率,索引创建的质量直接关系整个系统的质量。Lucene的索引树是非常优质高效的,在这个包中,主要有In一

强的面向对象特征…。首先是定义了一个与平台无关的索引文件格式,其次通过抽象将系统的核心组成部分设计为抽象类,具体的平台实现部分设计为抽象类的实现。此外与具体平

基金项目:国家自然科学基金资助项目(编号:60472022)。

作者简介:何伟.女,1969年生,讲师,硕士,研究方向为分布式计算和数据库。

第1页

你可能喜欢

  • 搜索引擎的使用
  • 搜索引擎技术
  • 搜索引擎代码
  • 网络蜘蛛
  • 全文检索
  • 百度搜索引擎优化指南

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email