201
0年第19卷第3期计算机系统应用
主题搜索引擎网络爬虫搜索策略的研究与实现①
刘淑梅
摘要:
夏
亮
许南山(北京化工大学信息研究院北京100029)
根据网络页面结构的特点,提出通过页面之间的主题传递来预测页面主题相关性的方法,解决了主题爬虫通道堵塞。抓取遗漏的问题。首先根据锚文本传递一个相关性信息值,如果锚文本给出的信息是相关,相关阂值就直接传递;如果是不相关,就乘以遗传基因比例之后传递。传递的过程中如果遇到相关的网页就恢复链接的相关性信息值到初始值。最后根据实验结果验证了算法的查全率与查准率,查全率有显著的提高。
关键词:网络爬虫;搜索引擎;主题相关;遗传;抓取
SearchStrategyandAchieveoftheTopicSearchEngineSpider
LIUShu—Mei,XIALiang,XUNan—Shah
(AcademeofInformation,UniversityofChemicalTechnology,Beijing10029,China)
Abstract:Accordingtothecharacteristicsofthecyberpagestructure,thispaperproposesthethemewhichpredicts
thecorrelativitybydeliveringthethemeamongthepages,andsolvestheproblemsofchannel
jamming
and
captureomission.Firstly,acorrelativeinformationvalueisdeliveredaccordingtotheanchortext.Ifthe
information
givenbythe
anchortextis
correlated,thecorrelativethresholdwillbedelivereddirecfly.
before
delivery.Intheprocess
ofthedelivery,
Otherwise,itwill
bemultipliedby
thegeneticratio
correlativeinformationvaluemayberesettotheinitialvalueifitencountersthecorrelativelast,therecallratioisproventobegreatlyimprovedbased
on
Web
page.At
the
experimental
result.
Keywords:cyberworm;search
engine;themecorrelativity;geneticalgorithm;crawl
1
引言
随着互联网的飞速发展,网上信息量大量增加,传
程由控制器,解析器,资源库三部分组成。过滤处理部分由页面处理,主题判断两部分组成。控制器主要的工作是给多线程中的各个线程分配工作任务。解析器主要的工作是下载网页,页面处理,主题计算等工作,爬虫的基本操作由解析器完成。资源库用来存放下载到的网页资源,并对其建立索引。主题网络爬虫与通用的网络爬虫…相比,多了一个主题判断筛选的过程,引导爬虫的抓取方向,缩减爬虫的工作量。初始url地址通过控制器分配给解析器,解析器根据url地址从web互联网上抓取网页,将其放进资源库,随后将url地址放进等待队列。,抓取时分析页面,提取
统的搜索引擎已经不能满足人们的搜索信息需求,这就促进了主题搜索引擎的发展。主题搜索引擎的信息量是针对某一个特定领域,主题搜索引擎网络爬虫抓取网页的时候只抓取主题相关的网页,过滤不相关网页的抓取工作。为了提高主题爬虫的工作效率,过滤工作就相当重要。目前的主题爬虫在抓取网页时,往往会遗漏大量的相关网页,因此本文提出一种在权值传递过程中权值恢复的策略弥补主题爬虫的这种不足。
2主题爬虫的模型框架
如模型框架图所示(见图1),在系统框架中,主过
url,根据urI的链接文本判断主题,将相关url放进等待队列。
①收稿时间:2009—06—06
Development研究开发49
Researchand
万方数据
主题搜索引擎网络爬虫搜索策略的研究与实现 介绍主题搜索的网络爬虫具体的实现介绍...大小:538.86KB 所需财富值:1 加入阅读会员!获取下载券 登录百度文库,专享文档...
以何种策略有 效地访问网络资源是搜索引擎中网络爬虫研究的主要问题 。 该文对...按评价链接价值采用的方法,把主题爬虫搜索策略分为以下四类。 1.1 基于内容...
的综合爬行策略相结合,实 现了一个基于多种搜索策略的主题搜索引擎网络爬虫系统...第1章引言1.1研究背景所有搜索引擎的祖先,是1990年由McGill大学的学生越anDemsch...
对目前常用的网络爬虫的搜索策略进行初步分析 研究。...(1)因为抓取的目标是覆 盖尽可能大的网络,所以...相反,主题搜索引擎的服务范围则是 限制在特定的人群...
§1-1 课题的研究背景随着信息技术的不断发展, 互联网技术也得到了迅猛发展, ...§2-5 主题搜索引擎网络爬虫搜索策略主题搜索引擎的信息采集技术与通用搜索引擎...
策略访问We, b提高搜索效率, 成为近年来专业搜索 引擎网络爬虫研究的主要问题之...聚焦搜索策略 聚焦爬虫会给它所下载下来的页面分配一个评价 分, 图1 传统的图...
主题搜索引擎中的网络爬虫搜索研究_IT/计算机_专业资料。关于主题搜索维普...本文 统 中大多采用 了多线 程并行信息提取 的策略r 1 。 34页 面分析 ...
1 选题背景与意义 网络爬虫搜索策略 2 3 网络爬虫搜索策略实现相关技术 1 选题...搜索引擎 如何提供尽可能具有覆盖互联网信息资源。成为了当今世 界研究的主题。...
研究搜索引擎中网络爬虫的设计与实现,对于优化搜 索引擎性能,提升搜索引擎效率有着重要的意义。本文主要分析了 基于主题搜索引擎中网络爬虫的设计与实现,并提出了...
热门文档