文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 高等教育 > 工学 > 网络爬虫的原理
侵权投诉

网络爬虫的原理

网络爬虫的原理

搜索引擎使用网络爬虫寻找网络内容,网络上的HTML文档使用超链接连接了起来,就像织成了一张网,网络爬虫也叫网络蜘蛛,顺着这张网爬行,每到一个网页就用抓取程序将这个网页抓下来,将内容抽取出来,同时抽取超链接,作为进一步爬行的线索。网络爬虫总是要从某个起点开始爬,这个起点叫做种子,你可以告诉它,也可以到一些网址列表网站上获取

网页抓取/数据抽取/信息提取软件工具包MetaSeeker是一套完整的解决方案,里面有定题网络爬虫,也叫聚焦网络爬虫,这种爬虫抓取下来一个页面后并不抽取所有的超链接,而是只找主题相关的链接,笼统的说就是爬行的范围是受控的。网络爬虫实现代码主要集中在MetaSeeker工具包中的DataScraper工具。可以从 gooseeker网站下载下来看



网络爬虫工作原理2011-04-08 09:23
1 聚焦爬虫工作原理及关键技术概述
网络爬虫是一个自动提取网页的程序,它为搜索引擎从Internet网上下载网页,是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始,获 得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂,需要根 据一定的网页分析算法过滤与主题无关的链接,保留有用的链接并将其放入等待抓取的URL队列。然后,它将根据一定的搜索策略从队列中选择下一步要抓取的网 页URL,并重复上述过程,直到达到系统的某一条件时停止,另外,所有被爬虫抓取的网页将会被系统存贮,进行一定的分析、过滤,并建立索引,以便之后的查 询和检索;对于聚焦爬虫来说,这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

相对于通用网络爬虫,聚焦爬虫还需要解决三个主要问题:
(1) 对抓取目标的描述或定义;
(2) 对网页或数据的分析与过滤;
(3) 对URL的搜索策略。
抓取目标的描述和定义是决定网页分析算法与URL搜索策略如何制订的基础。而网页分析算法和候选URL排序算法是决定搜索引擎所提供的服务形式和爬虫网页抓取行为的关键所在。这两个部分的算法又是紧密相关的。

2 抓取目标描述
现有聚焦爬虫对抓取目标的描述可分为基于目标网页特征、基于目标数据模式和基于领域概念3种。
基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。根据种子样本获取方式可分为:
(1) 预先给定的初始抓取种子样本;
(2) 预先给定的网页分类目录和与分类目录对应的种子样本,如Yahoo!分类结构等;
(3) 通过用户行为确定的抓取目标样例,分为:
a) 用

第1页

你可能喜欢

  • 网络设计
  • 网络技术
  • Java爬虫
  • 振动加速度传感器
  • 爬虫技术

热门文档

相关文档

  • 网络爬虫原理

    网络爬虫实现原理及详解... 27页 1下载券 网络爬虫Java实现原理 21页 1下载...第二步:网页分析程序实现 实现原理: 分析方法包括格式化字符去除,文本正文分词,...

  • 2014网络爬虫原理与实战

    2014网络爬虫原理与实战_互联网_IT/计算机_专业资料。Company LOGO 成都天和软件技术有限公司 网络爬虫原理与实战王文成 www.tianhesoft.com 成都天和软件技术有限...

  • 网络爬虫原理与实战

    网络爬虫原理与实战_IT/计算机_专业资料。网络 爬虫 原理 蜘蛛Company LOGO 成都天和软件技术有限公司 网络爬虫原理与实战王文成 www.tianhesoft.com 成都天和软件...

  • 网络爬虫工作原理

    网络爬虫工作原理 1 聚焦爬虫工作原理及关键技术概述 网络爬虫是一个自动提取网页的程序, 它为搜索引擎从 Internet 网上下载网页, 是搜索引擎的重要组成。传统爬虫...

  • 网络爬虫实现原理及详解JCF2011-11-17

    网络爬虫( 网络爬虫(Spider)Java 实现原理 )“网络蜘蛛”或者说“网络爬虫”,是一种能访问网站并跟踪链接的程序,通过它,可快速地 画出一个网站所包含的网页地图...

  • 网络爬虫Java实现原理

    网络爬虫Java实现原理_计算机软件及应用_IT/计算机_专业资料 暂无评价0人阅读0次下载举报文档 网络爬虫Java实现原理_计算机软件及应用_IT/计算机_专业资料。...

  • 网络爬虫的设计与实现

    对网络爬虫的连接网络设置连接及读取时 间,避免无限制的等待。研究网络爬虫的原理并实现爬虫的相关功能。 六.研究手段 参考网上开源的网络爬虫和各种网络爬虫相关的...

  • 网络爬虫的设计与实现(完整版)

    1 1.2 课题研究的意义网络在我们的生活中越来越重要,网络的信息量也越来越大,研究该课题可以 更好的理解网络爬虫在搜索引擎中的作用以及网络爬虫的原理。现实中,...

  • 网络爬虫技术

    网络爬虫技术_互联网_IT/计算机_专业资料。 网络爬虫技术搜索引擎的 单步演示 全过程演示…… 网络爬虫技术 ?什么是网络爬虫 ?网络爬虫分类 ?网络爬虫工作原理 ...

  • 网络爬虫简介

    网络爬虫简介 1.1 定义 1.2 用途 1.3 原理 1.1 网络爬虫定义网络爬虫(Crawler)又被称为网页蜘蛛, 网络机器人,在FOAF社区中,更经常的被 称为网页追逐者,...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email