文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 互联网 > 论网络爬虫搜索策略
侵权投诉

论网络爬虫搜索策略

第2期(总第9l期)

山西广播电视大学学报

No.2

垫!!生鱼旦

,i囊毫_jj0蔓|≥毒0。H.

』!!婴垒!!!曼堕璺坠i型i!鱼.旦望坐霎堡————————————些坠垒!!兰

攀攀鬻攀!鎏攀攀参豢善篆誊;_=|_≤≥。---j≥;i≤:_!|_j叠j口李耀华‘,杨海燕2≯_|{薯i≤篆攀霎≥i≤;誊参,誊|.

鬻!豢;攀纂攀鬻誉≤渗若啦;2.山云黪攀攀鬻攀鬻蘩;

摘要:以何种策略来访问web资源是搜索引擎研究的热点之一。通过比较通用搜索引擎和专业搜索引擎的搜索策略,针对“最好策略”的几种策略方案进行了优缺点的分析,总结了关于提高网络爬

网络爬虫是搜索引擎的重要组成部分。搜索引擎借助于网络爬虫才能在互联网海量数据中有效搜集到相关的网页信息。如何提高网络爬虫的搜索效率,是该领域研究的热点。

本文将分别对目前常用的网络爬虫的搜索策略进行初步分析研究。

一、网络爬虫基本工作原理

网络爬虫WebSpider又叫WebCrawler或者Robot,是一

然后访问提取出的连接所对应的网页,如此不断重复便可遍历整个网络信息,直到满足系统的一定停止条件。其中,种子集指种子链接集合,通常为几个知名网站主页连接地址。工

作流程如图1所示。

但通用爬虫搜索有以下几方面

不足:

(1)因为抓取的目标是覆盖尽可能大的网络,所以爬行的结果中必然会包含大量用户不需要的网页;

个沿着链接漫游web文档集合的程序。它一般驻留在服务器上,并且利用标准的http协议根据超链接和web文档检索的方法遍历整个Intemet网信息进行搜索。

(一)一络爬虫曲基本结构。传统的网络爬虫包括一个协议处理模块。URL(统一资源定位符,Uniform

ResourceLo-

(2)无法很好地搜索和获

取信息含量密集而且具有一定结构的数据;

eator的缩写,也被称为网页地址,是因特网上标准的资源的地址。它最初是由TimBemers—Lee发明用来作为万维网的地

(3)通用搜索引擎大多是基于关键字的检索,对于支持语义信息的查询和索引擎智能化的要求则难以实现。

图1通用网络爬虫工作流程图

址的)由两部分构成:协议模块和检测模块。其中,协议模块

用来提供网络爬虫所需的网络协议,解决如何获取网页;检测

模块负责对采集的URL信息进行排序,处理网络上重复内容,以提高网络爬虫的搜索效率。

(二)一络爬虫的工作流程。网络爬虫也是一个自动提

由此,通用爬虫想在爬行

网页时,既保证网页的质量和数量,又要保证网页的时效性是很难实现的。

取网页的程序,是搜索引擎的重要组成部分,其作用是为搜索引擎从Intemet网上下载页面。网络爬虫在获取网络信息时,通常会从一个“种子集”出发,获得初始网页上的URL,下载页面并提取已下载页面中的连接,抽取新的URL放入队列,

收藕日期:2013—Ol—2ID

主要作者简介:李耀华(1962一),男,河北定州人,山西大学继续教育

学院。

48

(三)一络爬虫的搜索策鼍。为提高网络爬虫的搜索效率,网络爬虫需要在既定时间内搜索到尽可能多的高质量网

页。这是其面临的主要技术难题。

一般而言,有五种方式表示页面质量的高低:Similarity

(页与爬行主题之间的相似度)、Backlink(面在Web图中的入度大小)、PageRank(指向它的所有页面平均权值之和)、For-

万方数据

第1页

你可能喜欢

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email