关于搜索的论文
基于Lucene硇茔文搜索引擎硇设计与实坝
TheResearchofLuceneSearch
*
何伟1薛素静2孔梦荣3杨正党3
(1.郑州大学成教学院;2.华北水利水电学院信息工程系;3.中原工学院计科系)
摘要
Lucene是一个用Java写的全文搜索引擎工具包,支持多用户访问,访问索引速度快,可以跨平台使用。分析
了Lucene的索引原理,根据Lucene的系统结构详细分析了Lucene分析器、索引包、文档等结构,实现了一个基于Lucene的中文诗词全文搜索应用实例。关键词
查询分析嚣
读索引
写索引
Lucene
Lucene是一个信息检索的函数库(“brary),用户可以基于它开发出各种全文搜索的应用¨.2J。它是一个全文检索引擎的架构,提供了完整的查询引擎、索引引擎及部分文本分析引擎(英文与德文两种西方语言)。作为一个开放源代码项目,Lucene从问世之后,引发了开放源代码社群的巨大反响,它不仅能用来构建具体的全文检索应用,而且可被集成到各种系统软件中构建web等多种应用。例如,某些商业软件也采用了Lucene作为其内部全文检索子系统的核心。
l
台相关的部分比如文件存储也封装为类,经过层层的面向对象式的处理,最终达成了一个低耦合高效率,容易二次开发的检索引擎系统。Lucene的系统结构主要有两条主线:第一,分析器对被索引文件进行切词,然后通过索引核心对切词后的数据建立索引。第二,org.apache.Lucene.search通过检索条件或org.apache.Iucene.queryParSer生成的查询语句进行查询并返回查询结果。图1是Lucene系统的结构组织图。
2.1分析器Analyzer分析器主要用于切词,一段文档输入以后,经过AnaIyzer,输出时只剩下有用的部分,其他部分被剔除。分析器提供了抽象的接口,因此语言分析(Analyser)是可以
Lucene检索原理
Lucene的检索算法属于索引检索,即用空间来换取时间,
定制的。因为Lucene缺省提供了2个比较通用的分析器sim—pIeAnalySer和standardAnalySer,这2个分析器缺省都不支持中文,所以要加入对中文语言的切分规则,需要修改这2个分析
对需要检索的文件、字符流进行全文索引,在检索的时候对索引进行快速的检索,得到检索位置,这个位置记录检索词出现的文件路径或者某个关键词【3.4J。
在使用数据库的项目中,一般不使用数据库进行检索,其主要原因是数据库在非精确查询的时候使用查询语言“Iike%keyword%”,对数据库进行查询是对所有记录遍历,并对字段进行“%keyword%”匹配,在数据库的数据庞大以及某个字段存储的数据量庞大的时候,这种遍历是低效的,它需要对所有的记录进行匹配查询。而Lucene刚好弥补了这方面的缺陷,它主要适用于文档集的全文检索,以及海量数据库的模糊检索,特别是对数据库的xmI或者大数据的字符类型的字段进行检索更显示出它的高效性。
图1
2.2
Lucene系统的结构组织圈
2
Lucene的系统结构分析
Lucene作为一个优秀的全文检索引擎,其系统结构具有很
org.apache.1ucene.index索引包是整个系统核心,主
要提供库的读写接口,通过该包可以创建库、添加删除记录及读取记录等。全文检索的根本就为每个切出来的词建立索引,查询时只需要遍历索引,而不需要遍历整个正文,从而极大地提高了检索效率,索引创建的质量直接关系整个系统的质量。Lucene的索引树是非常优质高效的,在这个包中,主要有In一
强的面向对象特征…。首先是定义了一个与平台无关的索引文件格式,其次通过抽象将系统的核心组成部分设计为抽象类,具体的平台实现部分设计为抽象类的实现。此外与具体平
基金项目:国家自然科学基金资助项目(编号:60472022)。
作者简介:何伟.女,1969年生,讲师,硕士,研究方向为分布式计算和数据库。
基于 L ucene 的全文搜索引擎的设计与实现 3 The Research of Lucene Search 何 1 伟 薛素静2 孔梦荣3 杨正党3 ( 1. 郑州大学成教学院 ;2. 华北水利水电...
基于Lucene和Heritrix的全文搜索引擎的设计与实现_互联网_IT/计算机_专业资料。文章编号 :1007—1423(2013)33—0074—05 DOI:10.3969~.issn.100...
2004 基于 Lucene 的搜索引擎设计与实现高 琰, 谷士文, 谭立球, 费耀平 ( 中南大学 信息科学与工程学院, 湖南 长沙 410075) 摘要: 当今搜索引擎已经成为人们在...
基于Lucene的搜索引擎设计与实现_专业资料。针对目前教育网庞大的FTP资源检索困难的问题,提出一种基于EdtFTPJ和Lucene的FTP搜索引擎的设计和实现方案。该方案整体上...
3.3 Lucene 搜索引擎的具体实现文中基于 Lucene 设计并实现了一个支持全文 搜索的实例—— —易搜中文搜索引擎, 易搜中文搜 索引擎是从指定的 Web 页面中按照超...
基于Lucene的知识搜索引擎的设计与实现_专业资料。电力企业有着大量的自有资源,而且越来越成为企业运营的重要支撑。本文通过对Lucene开放源码全文搜索工具包的研究,...
核心引擎的主要工作是管理文档全文索引数 242 陈庆伟, 刘 军 基于 Lucene 的网站全文搜索的设计与实现 本刊 E-mail\bjb@mail.sxinfo.net 信息技术 据的处理, ...
基于Lucene 的检测报告搜索引擎的设计与实现_互联网_IT/计算机_专业资料。201 3年第 1 2期 文章编号 :1006-2475(2013)12-0155-04 计算机与现代化 JISUA...
基于Lucene的校园信息搜索引擎的设计与实现_兵器/核科学_工程科技_专业资料。第3 2卷第 4期 201 3年1 2月 中南 民族大学学报 ( 自然科学版 ) Journal of ...
热门文档