。而网页分析算法和候选URL排序算法是决定搜索引擎所提供的服务形式和爬虫网页抓取行为的关键所在。这两个部分的算法又是紧密相关的。
2 抓取目标描述
现有聚焦爬虫对抓取目标的描述可分为基于目标网页特征、基于目标数据模式和基于领域概念3种。
基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。根据种子样本获取方式可分为:
(1)预先给定的初始抓取种子样本;
(2)预先给定的网页分类目录和与分类目录对应的种子样本,如Yahoo!分类结构等;
(3)通过用户行为确定的抓取目标样例,分为:
a) 用户浏览过程中显示标注的抓取样本;
b) 通过用户日志挖掘得到访问模式及相关样本。
其中,网页特征可以是网页的内容特征,也可以是网页的链接结构特征,等等。
现有的聚焦爬虫对抓取目标的描述或定义可以分为基于目标网页特征,基于目标数据模式和基于领域概念三种。
基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。具体的方法根据种子样本的获取方式可以分为:(1)预先给定的初始抓取种子样本;(2)预先给定的网页分类目录和与分类目录对应的种子样本,如Yahoo!分类结构等;(3)通过用户行为确定的抓取目标样例。其中,网页特征可以是网页的内容特征,也可以是网页的链接结构特征,等等。
设定RSS爬虫重新访问的5个级别:
Level[1]=20 Minutes
Level[2]=200 Minutes
Level[3]=1000 Minutes
Level[4]=2000 Minutes
Level[5]=10000 Minutes
设定RSS 源的权重为从0到5
RssRank=0 ~ 5
要点:
1.每一个RSS 源对应一个时间T[i],这个时间取整就得到 Level 。例如,这个时间是250分钟,那么就取Level[2],就是每隔200分钟抓取一次。
2.每一次这个对应时间都是改变的,根据这个RSS源有没有变化。
3.当更新了,这个时间就除以1.2 ,当未更新,这个时间就乘以1.2。
4.RssRank起到调整更新时间级别的规则。例如当一个RSS在Level[5],但是它的RssRank是3,那么更新时间调整为Level[5-3] = Level[2] = 200分钟。
总体公式:
T[i+1] = T[i] [(1.2)(1.2)]
T = Level[ AntiLevel[T[i][(1.2)(1.2)]] - RssRank]
经过长时间的运行,T序列都变动非常稳定。
2爬虫的瓶颈分析与解决方案2.1效率瓶颈分析 爬虫的效率主要受到以下因素的制约:网络延时和爬虫 本地运行效率,如图2所示。 图1 Intemet的有向图模型不意图 图2...
网络爬虫需求分析 目录 1.引言 ...2 1.1 编写目的 ......
网络爬虫分析某个网页时 ,利用 HTML 语言的标记结构来获取指向其他 网页的 URL 地址,可以完全不依赖用户干预。 ?如果把整个互联网当成一个网站,理论上讲网 络...
因此,爬虫在判断重复页面时主要以 URL 所谓判断标准,以保证服务的唯一性。 1.5 网络爬虫的效率 单线程的爬虫由于页面的分析和下载不能同时而效率较低, 因此出现...
nutch爬虫流程分析_IT/计算机_专业资料 暂无评价0人阅读0次下载举报文档 nutch爬虫流程分析_IT/计算机_专业资料。nutch 爬虫的流程分析...
网络爬虫应用宽度搜索技术。对 url 进行分析,去重。网络爬虫使用多线程 技术, 让爬虫具备更强大的抓取能力。对网络爬虫的连接网络设置连接及读取时 间,避免无限制...
所有被爬虫抓取的网页将会被系统存贮,进行一定的分析、过滤,并建立索引,以便之后的 查询和检索;对于聚焦爬虫来说,这一过程所得到的分析结果还可能对以后的抓取过程...
另外,所有被爬虫抓取的网页将会被系统存贮,进行一定 的分 析、过滤,并建立索引,以便之后的查询和检索;对于聚焦爬虫来说,这 一过程所得到的分析结果还可能对以后的...
语言层、 语义层 3 个层次系统分析当前主题爬虫相关度的计算方法, 并比较 不同 层次 间各 个算法的 优缺点; 最后总结现有的研究成果, 并给出进一步的研究方向...
在此基础上 ,提出聚焦爬虫今后的一些研究方向 ,包括面向数 据分析和挖掘的爬虫技术研究 ,主题的描述与定义 , 相关资源的发现 , W eb 数据清洗 , 以及搜索空间 ...
热门文档