搜索引擎的研究与实现
情报杂志2006年第9期 JournalofInformationNo.9,2006
基于Lucene的全文搜索引擎的设计与实现
TheResearchofLuceneSearch
3
何 伟1 薛素静2 孔梦荣3 杨正党3
(1.郑州大学成教学院;2.华北水利水电学院信息工程系;3.中原工学院计科系)
摘 要 Lucene是一个用Java写的全文搜索引擎工具包,支持多用户访问,访问索引速度快,可以跨平台使用。分析了Lucene的索引原理,根据Lucene的系统结构详细分析了Lucene分析器、索引包、文档等结构,实现了一个基于
Lucene的中文诗词全文搜索应用实例。
关键词 查询分析器 读索引 写索引 Lucene Lucene是一个信息检索的函数库(Library),用户可以基于它开发出各种全文搜索的应用[1,2]。它是一个全文检索引擎的架构,提供了完整的查询引擎、索引引擎及部分文本分析引擎(英文与德文两种西方语言)。作为一个开放源代码项目,
Lucene从问世之后,引发了开放源代码社群的巨大反响,它不
与具体平台相关的部分比如文件存储也封装为类,经过层层的面向对象式的处理,,容易二次。Lucene:第一,search通过检索生成的查询语句进行查询。图1是Lucene系统的结构组织图。 2.1 分析器Analyzer 分析器主要用于切词,一段文档输入以后,经过Analyzer,输出时只剩下有用的部分,其他部分被剔除。分析器提供了抽象的接口,因此语言分析(Analyser)是可以定制的。因为Lucene缺省提供了2个比较通用的分析器Sim2
pleAnalyser和StandardAnalyser,这2个分析器缺省都不支持中
仅能用来构建具体的全文检索应用,软件中构建Web等多种应用,Lucene。1 Lucene检索原理
Lucene的检索算法属于索引检索,即用空间来换取时间,
对需要检索的文件、字符流进行全文索引,在检索的时候对索引进行快速的检索,得到检索位置,这个位置记录检索词出现的文件路径或者某个关键词[3,4]。
在使用数据库的项目中,一般不使用数据库进行检索,其主要原因是数据库在非精确查询的时候使用查询语言“like%keyword%”,对数据库进行查询是对所有记录遍历,并对字段进行“%keyword%”匹配,在数据库的数据庞大以及某个字段存储的数据量庞大的时候,这种遍历是低效的,它需要对所有的记录进行匹配查询。而Lucene刚好弥补了这方面的缺陷,它主要适用于文档集的全文检索,以及海量数据库的模糊检索,特别是对数据库的xml或者大数据的字符类型的字段进行检索更显示出它的高效性。
2 Lucene的系统结构分析
Lucene作为一个优秀的全文检索引擎,其系统
文,所以要加入对中文语言的切分规则,需要修改这2个分析器。
图1 Lucene系统的结构组织图
2.2 org.apache.lucene.index 索引包是整个系统核心,主要提供库的读写接口,通过该包可以创建库、添加删除记录及
[5]
结构具有很强的面向对象特征。首先是定义了一个与平台
读取记录等。全文检索的根本就为每个切出来的词建立索引,查询时只需要遍历索引,而不需要遍历整个正文,从而极大地提高了检索效率,索引创建的质量直接关系整个系统的质量。
Lucene的索引树是非常优质高效的,在这个包中,主要有In2
无关的索引文件格式,其次通过抽象将系统的核心组成部分设计为抽象类,具体的平台实现部分设计为抽象类的实现。此外
基金项目:国家自然科学基金资助项目(编号:60472022)。
作者简介:何 伟,女,1969年生,讲师,硕士,研究方向为分布式计算和数据库。
基于Lucene的全文搜索引擎的设计与实现_互联网_IT/计算机_专业资料。关于搜索的论文基于Lucene硇茔文搜索引擎硇设计与实坝TheResearchofLuceneSearch * 何 伟1 薛...
基于Lucene和Heritrix的全文搜索引擎的设计与实现_互联网_IT/计算机_专业资料。文章编号 :1007—1423(2013)33—0074—05 DOI:10.3969~.issn.100...
2004 基于 Lucene 的搜索引擎设计与实现高 琰, 谷士文, 谭立球, 费耀平 ( 中南大学 信息科学与工程学院, 湖南 长沙 410075) 摘要: 当今搜索引擎已经成为人们在...
基于Lucene的搜索引擎设计与实现_专业资料。针对目前教育网庞大的FTP资源检索困难的问题,提出一种基于EdtFTPJ和Lucene的FTP搜索引擎的设计和实现方案。该方案整体上...
基于Lucene的知识搜索引擎的设计与实现_专业资料。电力企业有着大量的自有资源,而且越来越成为企业运营的重要支撑。本文通过对Lucene开放源码全文搜索工具包的研究,...
3.3 Lucene 搜索引擎的具体实现文中基于 Lucene 设计并实现了一个支持全文 搜索的实例—— —易搜中文搜索引擎, 易搜中文搜 索引擎是从指定的 Web 页面中按照超...
基于Lucene 的检测报告搜索引擎的设计与实现_互联网_IT/计算机_专业资料。201 3年第 1 2期 文章编号 :1006-2475(2013)12-0155-04 计算机与现代化 JISUA...
基于LUCENE的全文搜索引擎的研究与实现_IT/计算机_专业资料。LUCENE 搜索引擎第3 0卷 第 5期 湖北广播电视大学学报 JunlfBe Unvri ora oHuiTV iesyt Vo.,o. ...
基于Lucene的校园信息搜索引擎的设计与实现_兵器/核科学_工程科技_专业资料。第3 2卷第 4期 201 3年1 2月 中南 民族大学学报 ( 自然科学版 ) Journal of ...
热门文档