文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 基于Lucene的全文搜索引擎的设计与实现
侵权投诉

基于Lucene的全文搜索引擎的设计与实现

搜索引擎的研究与实现

情报杂志2006年第9期                  JournalofInformationNo.9,2006

基于Lucene的全文搜索引擎的设计与实现

TheResearchofLuceneSearch

3

何 伟1 薛素静2 孔梦荣3 杨正党3

(1.郑州大学成教学院;2.华北水利水电学院信息工程系;3.中原工学院计科系)

摘 要 Lucene是一个用Java写的全文搜索引擎工具包,支持多用户访问,访问索引速度快,可以跨平台使用。分析了Lucene的索引原理,根据Lucene的系统结构详细分析了Lucene分析器、索引包、文档等结构,实现了一个基于

Lucene的中文诗词全文搜索应用实例。

关键词 查询分析器 读索引 写索引 Lucene  Lucene是一个信息检索的函数库(Library),用户可以基于它开发出各种全文搜索的应用[1,2]。它是一个全文检索引擎的架构,提供了完整的查询引擎、索引引擎及部分文本分析引擎(英文与德文两种西方语言)。作为一个开放源代码项目,

Lucene从问世之后,引发了开放源代码社群的巨大反响,它不

与具体平台相关的部分比如文件存储也封装为类,经过层层的面向对象式的处理,,容易二次。Lucene:第一,search通过检索生成的查询语句进行查询。图1是Lucene系统的结构组织图。 2.1 分析器Analyzer 分析器主要用于切词,一段文档输入以后,经过Analyzer,输出时只剩下有用的部分,其他部分被剔除。分析器提供了抽象的接口,因此语言分析(Analyser)是可以定制的。因为Lucene缺省提供了2个比较通用的分析器Sim2

pleAnalyser和StandardAnalyser,这2个分析器缺省都不支持中

仅能用来构建具体的全文检索应用,软件中构建Web等多种应用,Lucene。1 Lucene检索原理

Lucene的检索算法属于索引检索,即用空间来换取时间,

对需要检索的文件、字符流进行全文索引,在检索的时候对索引进行快速的检索,得到检索位置,这个位置记录检索词出现的文件路径或者某个关键词[3,4]。

在使用数据库的项目中,一般不使用数据库进行检索,其主要原因是数据库在非精确查询的时候使用查询语言“like%keyword%”,对数据库进行查询是对所有记录遍历,并对字段进行“%keyword%”匹配,在数据库的数据庞大以及某个字段存储的数据量庞大的时候,这种遍历是低效的,它需要对所有的记录进行匹配查询。而Lucene刚好弥补了这方面的缺陷,它主要适用于文档集的全文检索,以及海量数据库的模糊检索,特别是对数据库的xml或者大数据的字符类型的字段进行检索更显示出它的高效性。

2 Lucene的系统结构分析

Lucene作为一个优秀的全文检索引擎,其系统

文,所以要加入对中文语言的切分规则,需要修改这2个分析器。

图1 Lucene系统的结构组织图

 2.2 org.apache.lucene.index 索引包是整个系统核心,主要提供库的读写接口,通过该包可以创建库、添加删除记录及

[5]

结构具有很强的面向对象特征。首先是定义了一个与平台

读取记录等。全文检索的根本就为每个切出来的词建立索引,查询时只需要遍历索引,而不需要遍历整个正文,从而极大地提高了检索效率,索引创建的质量直接关系整个系统的质量。

Lucene的索引树是非常优质高效的,在这个包中,主要有In2

无关的索引文件格式,其次通过抽象将系统的核心组成部分设计为抽象类,具体的平台实现部分设计为抽象类的实现。此外

基金项目:国家自然科学基金资助项目(编号:60472022)。

作者简介:何 伟,女,1969年生,讲师,硕士,研究方向为分布式计算和数据库。

第1页

你可能喜欢

  • 数据搜索引擎
  • 网络爬虫原理
  • lucene搜索引擎
  • 企业搜索引擎
  • 全文检索

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email