搜索引擎 Lucene
武汉理工大学硕+学位论文
摘要
随着Intemet的飞速发展,Web中所容纳的信息量越来越大,在存储,信息采集等方面通用搜索引擎正面巨大的挑战。而且,由于通用搜索引擎是面向各种各样的用户,它们的目的是保证在返回结果上做到面面俱到,但是各种各样的结果实际上并不能满足用户对精确度高的搜索的需求。因此,面向专业领域的搜索引擎即垂直搜索引擎便应运而生。
和传统的搜索引擎所不同的是,垂直搜索引擎的网络蜘蛛只是采集Web中的一部分信息。通过对网页的主题相关度进行预测和判断,专业网络蜘蛛在爬行时就会避开大量的与主题无关的信息。由于只采集那些和主题相关的网页,从而使垂直搜索引擎在查询的准确率和效率上都有显著的提高。目前,垂直搜索引擎的中文分词和主题预测有待迸一步提高精度,网络蜘蛛的搜索策略也有待进一步改进以提高搜索引擎的覆盖率和运行效率。
本文在分析目前常用的主题爬行策略的基础之上,根掘PageRank算法的思想,结合基于文本内容的启发式策略和基于Web超链分析的策略二者之间的优点,提出了一种新的主题爬行策略,既可以利用链接分析扩大某个主题的资源覆盖度,又可以保证搜索结果与主题的高度相关。
此外,本文通过研究和分析传统的PageRank算法及其不足,在基于用户点击网页内的各个链接的概率是不均等的情况下,提出一种基于概率的PageRank改进算法,该算法可以用于领域搜索引擎的主题相关度预测,能有效地避免主题漂移现象。
最后,基于Lucene框架和改进的Hertrix开源爬虫框架,设计并构建了一个面向电子产品信息的垂直搜索引擎的原型系统。关键词:垂直搜索引擎,主题爬虫,爬行策略
暨南大学 硕士学位论文 基于Lucene的垂直搜索引擎的研究与应用 姓名:陈航哲 申请学位级别:硕士 专业:计算机科学与技术、计算机系统结构 指导教师:王晓明 20100602 暨南...
湖北工业大学 硕士学位论文 基于Lucene的搜索引擎应用与研究 姓名:花洁 申请学位级别:硕士 专业:计算机应用技术 指导教师:王大震 20090501 ———I— 湖北工业大学...
基于Lucene的垂直搜索引... 65页 1下载券 垂直搜索引擎若干关键技... 59页...华北电力大学(保定) 硕士学位论文 垂直搜索引擎关键技术研究及应用 姓名:王玉辉 ...
西安科技大学 硕士学位论文 基于Lucene垂直搜索引擎的研究与实现 姓名:徐海 申请学位级别:硕士 专业:计算机应用技术 指导教师:李军民 20090422 论文题目:基于Lucene垂直...
基于Lucene_Heritrix的垂直搜索引擎的研究与应用_IT/计算机_专业资料。网络爬虫...搜索引擎主要指利用网络自动搜索技术软件或人工方式 , 对 Internet网络资源进行...
基于LUCENE/HERITRIX的垂直搜索引擎的研究与应用基于LUCENE/HERITRIX的垂直搜索引擎...诸+、#Pr l 垂直搜索引擎的基本介绍 搜索引擎 主要指利用网络 自动搜 索技术...
是搜索引擎的细分和延伸.垂直搜索引擎可以帮助用户在海量数据中进行快速、专业、精准的检索.文章实现了基于Lucene技术的山西高校图书垂直搜索引擎,其可以为读者提供专业...
2 垂直搜索引擎关键技术垂直搜索引擎系统主要是由以下几项技术构成, 网页爬虫 (...Lucene 是一个用 Java 写的全文索引引擎工具包,它可以方便的 嵌入到各种应用中...
()1〔〕谭鸣. 基于 Lcn 技术的垂直搜索引擎的研究与实现〔 〕 南昌: 江西理工大学,08:014 ueeD.201-1〔〕 钱春江 .uee 全文搜索引擎的应用〔 〕 上海: ...
热门文档