第2期(总第9l期)
山西广播电视大学学报
No.2
垫!!生鱼旦
,i囊毫_jj0蔓|≥毒0。H.
』!!婴垒!!!曼堕璺坠i型i!鱼.旦望坐霎堡————————————些坠垒!!兰
攀攀鬻攀!鎏攀攀参豢善篆誊;_=|_≤≥。---j≥;i≤:_!|_j叠j口李耀华‘,杨海燕2≯_|{薯i≤篆攀霎≥i≤;誊参,誊|.
鬻!豢;攀纂攀鬻誉≤渗若啦;2.山云黪攀攀鬻攀鬻蘩;
摘要:以何种策略来访问web资源是搜索引擎研究的热点之一。通过比较通用搜索引擎和专业搜索引擎的搜索策略,针对“最好策略”的几种策略方案进行了优缺点的分析,总结了关于提高网络爬
网络爬虫是搜索引擎的重要组成部分。搜索引擎借助于网络爬虫才能在互联网海量数据中有效搜集到相关的网页信息。如何提高网络爬虫的搜索效率,是该领域研究的热点。
本文将分别对目前常用的网络爬虫的搜索策略进行初步分析研究。
一、网络爬虫基本工作原理
网络爬虫WebSpider又叫WebCrawler或者Robot,是一
然后访问提取出的连接所对应的网页,如此不断重复便可遍历整个网络信息,直到满足系统的一定停止条件。其中,种子集指种子链接集合,通常为几个知名网站主页连接地址。工
作流程如图1所示。
但通用爬虫搜索有以下几方面
不足:
(1)因为抓取的目标是覆盖尽可能大的网络,所以爬行的结果中必然会包含大量用户不需要的网页;
个沿着链接漫游web文档集合的程序。它一般驻留在服务器上,并且利用标准的http协议根据超链接和web文档检索的方法遍历整个Intemet网信息进行搜索。
(一)一络爬虫曲基本结构。传统的网络爬虫包括一个协议处理模块。URL(统一资源定位符,Uniform
ResourceLo-
(2)无法很好地搜索和获
取信息含量密集而且具有一定结构的数据;
eator的缩写,也被称为网页地址,是因特网上标准的资源的地址。它最初是由TimBemers—Lee发明用来作为万维网的地
(3)通用搜索引擎大多是基于关键字的检索,对于支持语义信息的查询和索引擎智能化的要求则难以实现。
图1通用网络爬虫工作流程图
址的)由两部分构成:协议模块和检测模块。其中,协议模块
用来提供网络爬虫所需的网络协议,解决如何获取网页;检测
模块负责对采集的URL信息进行排序,处理网络上重复内容,以提高网络爬虫的搜索效率。
(二)一络爬虫的工作流程。网络爬虫也是一个自动提
由此,通用爬虫想在爬行
网页时,既保证网页的质量和数量,又要保证网页的时效性是很难实现的。
取网页的程序,是搜索引擎的重要组成部分,其作用是为搜索引擎从Intemet网上下载页面。网络爬虫在获取网络信息时,通常会从一个“种子集”出发,获得初始网页上的URL,下载页面并提取已下载页面中的连接,抽取新的URL放入队列,
收藕日期:2013—Ol—2ID
主要作者简介:李耀华(1962一),男,河北定州人,山西大学继续教育
学院。
48
(三)一络爬虫的搜索策鼍。为提高网络爬虫的搜索效率,网络爬虫需要在既定时间内搜索到尽可能多的高质量网
页。这是其面临的主要技术难题。
一般而言,有五种方式表示页面质量的高低:Similarity
(页与爬行主题之间的相似度)、Backlink(面在Web图中的入度大小)、PageRank(指向它的所有页面平均权值之和)、For-
万方数据
简析搜索引擎中网络爬虫的搜索策略_专业资料。随着网络信息的迅速发展,搜索引擎已成为人们获取有用信息必不可少的工具.以何种策略有效地访问网络资源是专业搜索引擎...
本次论文研究是如何加快网络爬虫是搜索速度,和提 高搜索对互联网网页的覆盖率 2 网络爬虫搜索策略网络爬虫的搜索策略有深度优先策略、广度优先策略、最好优先策略。...
主题网络爬虫是垂直搜索引擎获取数据的自动化程序。以何种策略有效地访问网络资源是主题爬虫...更多>>由于信息多元化的发展,通用的搜索引擎无法满足专业化用户的需求,...
网络爬虫在搜索时往往采 Cal 系统的技术内幕一般都不公开, rewr 现有的文献 上的自动“ 也仅限于概要性介绍. 随着We 信息资源呈指数级 用一定的搜索策略. b ...
基于内容评价的爬虫搜索策略研究_专业资料。Internet上的不良信息日益增多成为危害严重的社会问题,对Internet进行监控成为一项迫切任务.而网络爬虫在信息搜索中起着明显...
主题搜索引擎网络爬虫搜索策略的研究与实现_IT/计算机_专业资料。网络爬虫 搜索引擎 主题相关 遗传 抓取 遗传算法2 年第 1 01 0 9卷 第 3期 计算机系统应用 ...
河北工业大学 硕士学位论文 基于启发式搜索策略的主题网络爬虫算法的设计与实现 ... page filtering iii 河北工业大学硕士学位论文 第一章 绪 论 §1-1 课题的...
网络爬虫在搜索引擎应用中的问题及对策_互联网_IT/计算机_专业资料。第2 9卷... 简析搜索引擎的网络爬虫... 45人阅读 5页 3.00 浅谈网络信息挖掘中搜索...
3 3. 1 主题网络蜘蛛搜索策略算法研究系统模型面向主题的网络蜘蛛的 设计是 以普通 爬虫为 基础 的, 实际上它是对一 个普 通网 络蜘 蛛进 行 功能 上的 ...
热门文档