文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 基于Lucene_Heritrix的垂直搜索引擎的研究与应用
侵权投诉

基于Lucene_Heritrix的垂直搜索引擎的研究与应用

介绍lucene的一篇文献,可以看看

基于Lucene_Heritrix的垂直搜索引擎的研究与应用

第26卷第1期   2009年1月  计算机应用与软件

ComputerApplicationsandSoftwareVol126No.1

Jan.2009

基于Lucene/Heritrix的垂直搜索引擎的研究与应用

白 坤 耿国华

(西北大学信息科学与技术学院 陕西西安710127)

摘 要  Lucene是一个用Java写的全文索引引擎工具包,访问索引时间快,支持多用户访问,。Heritrix是一个

由Java开发的、开源的Web网络爬虫,在构建垂直搜索引擎中的应用。

关键词  Lucene Heritrix 垂直搜索引擎

STUDYONFVERTICALSEARCHENGINEBASEDONLUCENE

ANDHERITRIX

BaiKun GengGuohua

(CollegeofInformationScienceandTechnology,NorthwestUniversity,Xi’an710127,Shaanxi,China)

Abstract  LuceneisafulltextindexingenginepackagewritteninJavalanguage.Ithashighaccessspeed,supportsmulti2useraccessesandcanbesuedinacross2platformway.HeritrixisanopensourcewebspiderexploredbyJava.UserscansnatchinformationfromInternetbyusingit.InthispaperitstudiesLuceneandHeritrixtechnology,analyzestheapplicationindesigningaVerticalSearchEnginebasedonthem.Keywords  Lucene Heritrix Verticalsearchengine

引擎。

0 引 言

互联网是一个宝库,搜索引擎是打开宝库的一把钥匙。使

用搜索引擎,使我们检索信息的能力获得了空前的提高,成本有效地降低,可以说,搜索引擎是现代的计算机技术、因特网技术与传统的索引理论相结合的成功典范。垂直搜索引擎为用户有特定目的的查找提供了一个准确、快捷、便利的手段。Lucene和Heritrix是开发垂直搜索引擎的强有力工具。

2 基于Java的全文检索引擎—JakartaLu2

cene

2.1 Lucene简介

最初Lucene是Apache软件基金会Jakarta项目组的一个子项目,是一个完全开放源代码的全文检索工具包。Lucene在最初阶段是使用Java开发的。由于它的强大功能,Lucene逐渐被翻译成了多种语言,诸如C++、C#、Perl等。

Lucene不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,它为数据访问和管理提供了简单的函数调用接口,可以方便地嵌入到各种应用中实现针对应用的全文索引/检索功能。

1 垂直搜索引擎的基本介绍

搜索引擎主要指利用网络自动搜索技术软件或人工方式,对Internet网络资源进行收集、整理与组织,并提供检索服务的一类信息服务系统。

垂直搜索引擎也被称为专业或专用搜索引擎,就是专门为查询某一个学科或主题的信息而产生的查询工具,专门收录某一方面、某一行业或某一主题的信息,在解决某些实际查询问题的时候比综合搜索引擎更有效。垂直搜索引擎和普通的网页搜索引擎的最大区别是对网页信息进行了结构化信息抽取,也就是将网页的非结构化数据抽取成特定的结构化信息数据。如果说网页搜索是以网页为最小单位,则垂直搜索是以结构化数据为最小单位。将这些数据存储到数据库,进行进一步的加工处理,如:去重、分类等,后分词、索引,最终以对结构化数据的搜索方式满足用户的信息需求。垂直搜索引擎的应用领域很多,比如购物搜索、旅游搜索、医药搜索、图书搜索等,几乎各行各业各类信息都可以进一步细化成各类的垂直搜索

2.2 Lucene系统结构和功能分析

Lucene系统结构如图1所示

基于Lucene_Heritrix的垂直搜索引擎的研究与应用

。

图1 Lucene系统结构

收稿日期:2007-09-10。白坤,硕士生,主研领域:网络信息处理。

第1页

你可能喜欢

  • 网络爬虫
  • 搜索引擎技术
  • 开源搜索引擎
  • 网络工具
  • 小型搜索引擎
  • 人工智能

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email