网络爬虫
第26卷第1期 2009年1月 计算机应用与软件
ComputerApplicationsandSoftwareVol126No.1
Jan.2009
基于Lucene/Heritrix的垂直搜索引擎的研究与应用
白 坤 耿国华
(西北大学信息科学与技术学院 陕西西安710127)
摘 要 Lucene是一个用Java写的全文索引引擎工具包,访问索引时间快,支持多用户访问,可以跨平台使用。Heritrix是一个
由Java开发的、开源的Web网络爬虫,用户可以使用它从网络上抓取想要的资源。探讨了Lucene和Heritrix在构建垂直搜索引擎中的应用。
关键词 Lucene Heritrix 垂直搜索引擎
STUDYANDAPPLICATIONOFVERTNEBASEDONLUCENE
Kun GengGuohua
(ofmScienceandTechnology,NorthwestUniversity,Xi’an710127,Shaanxi,China)
Abstract LuceneisindexingenginepackagewritteninJavalanguage.Ithashighaccessspeed,supportsmulti2useraccessesandcanbesuedinacross2platformway.HeritrixisanopensourcewebspiderexploredbyJava.UserscansnatchinformationfromInternetbyusingit.InthispaperitstudiesLuceneandHeritrixtechnology,analyzestheapplicationindesigningaVerticalSearchEnginebasedonthem.Keywords Lucene Heritrix Verticalsearchengine
引擎。
0 引 言
互联网是一个宝库,搜索引擎是打开宝库的一把钥匙。使
用搜索引擎,使我们检索信息的能力获得了空前的提高,成本有效地降低,可以说,搜索引擎是现代的计算机技术、因特网技术与传统的索引理论相结合的成功典范。垂直搜索引擎为用户有特定目的的查找提供了一个准确、快捷、便利的手段。Lucene和Heritrix是开发垂直搜索引擎的强有力工具。
2 基于Java的全文检索引擎—JakartaLu2
cene
2.1 Lucene简介
最初Lucene是Apache软件基金会Jakarta项目组的一个子项目,是一个完全开放源代码的全文检索工具包。Lucene在最初阶段是使用Java开发的。由于它的强大功能,Lucene逐渐被翻译成了多种语言,诸如C++、C#、Perl等。
Lucene不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,它为数据访问和管理提供了简单的函数调用接口,可以方便地嵌入到各种应用中实现针对应用的全文索引/检索功能。
1 垂直搜索引擎的基本介绍
搜索引擎主要指利用网络自动搜索技术软件或人工方式,对Internet网络资源进行收集、整理与组织,并提供检索服务的一类信息服务系统。
垂直搜索引擎也被称为专业或专用搜索引擎,就是专门为查询某一个学科或主题的信息而产生的查询工具,专门收录某一方面、某一行业或某一主题的信息,在解决某些实际查询问题的时候比综合搜索引擎更有效。垂直搜索引擎和普通的网页搜索引擎的最大区别是对网页信息进行了结构化信息抽取,也就是将网页的非结构化数据抽取成特定的结构化信息数据。如果说网页搜索是以网页为最小单位,则垂直搜索是以结构化数据为最小单位。将这些数据存储到数据库,进行进一步的加工处理,如:去重、分类等,后分词、索引,最终以对结构化数据的搜索方式满足用户的信息需求。垂直搜索引擎的应用领域很多,比如购物搜索、旅游搜索、医药搜索、图书搜索等,几乎各行各业各类信息都可以进一步细化成各类的垂直搜索
2.2 Lucene系统结构和功能分析
Lucene系统结构如图1所示

。
图1 Lucene

系统结构
收稿日期:2007-09-10。白坤,硕士生,主研领域:网络信息处理。
基于LUCENE/HERITRIX的垂直搜索引擎的研究与应用基于LUCENE/HERITRIX的垂直搜索引擎的研究与应用隐藏>> 第2 6卷第 1期200 9年 1月 计 算机应 用与软件 Coue ...
基于Heritrix与Lucene的... 3页 1下载券 基于lucene的房产信息垂... 6页 ...应用技术 指导教师:李军民 20090422 论文题目:基于Lucene垂直搜索引擎的研究与实现...
基于Heritrix与Lucene的垂直搜索引擎研究_IT/计算机_专业资料。基于Heritrix与...Lucene 是一个用 Java 写的全文索引引擎工具包,它可以方便的 嵌入到各种应用中...
暨南大学 硕士学位论文 基于Lucene的垂直搜索引擎的研究与应用 姓名:陈航哲 申请...2.6 Heritrix 简述无论搜索引擎自身有多么的强大, 都需要一个强有力的部件...
基于Lucene与Heritrix的图书垂直搜索引擎的研究与实现_IT/计算机_专业资料。基于...引擎的研 究 与应用 Ji 【.J 计算机 应用与软件, 0.61222527〕292()1~1...
武汉理工大学 硕士学位论文 基于Lucene的垂直搜索引擎关键技术的研究应用 姓名:刘...withtheimprovedHeritrixframeandtheLucene frame designed and realized a ...
基于Lucene2.0和Heritrix搜索引擎的应用研究_互联网_IT/计算机_专业资料。S0FI WARE DEVEL0PMENT AND DESIGN 软件 开发 与设 计 基于 Lucene2.0...
垂直搜索引擎应用研究_专业资料。垂直搜索引擎是面向某一特定领域的专业搜索引擎。简要分析了通用搜索引擎的局限、垂直搜索引擎的优势及其关键技术。...
基于Lucene和Heritrix的全文检索引擎的研究与应用_专业资料。Lucene是一个用Java写的全文索引引擎工具包,访问索引时间快,支持多用户访问,可以跨平台使用。Heritrix是...
网络化制造资源垂直搜索引擎的研究与应用_专业资料。着重研究了网络化制造资源垂直搜索系统的主题爬虫和中文分词技术。通过在主题爬虫中增加评价网页模块,优先爬行与...
热门文档