
ISSN1009-3044第7卷第Knowledge32期(2011年11月)电脑知识与技术ComputerandTechnologyVol.7,No.32,November2011.E-mail:info@cccc.net.cnComputerKnowledgeandTechnology电脑知识与技术doc.guandang.net聚焦爬虫技术在OA资源采集中的应用研究
谢松
(赣南师范学院图书馆技术部,江西赣州341000)
摘要:该文分析了聚焦爬虫的工作原理,在此基础上给出了聚焦爬虫搜索的特定主题——OpenAccess相关资源,提出了一个面向特定主题的聚焦爬虫体系结构。
关键词:搜索引擎;聚焦爬虫;OpenAccess;URL分析
中图分类号:TP311
XIESong
(TechnicalDepartmentofLibrary,GannamNormalUniversity,Ganzhou341000,China)Abstract:Thispapersummarizestechnologiesofthefocusedcrawler,onthisbasis,thefocusedcrawlerisgivenaspecifictopic-OpenAc cess-relatedresources,proposedathemeforOAresourcesfocusedcrawlerarchitecture.
Keywords:searchengine;focusedcrawler;openAccess;URLanalysis
随着互联网技术的飞速发展,网络对我们的学习生活等各方面的影响己经越来越大。而在互联网中WWW(WorldWideWeb)技术的发展尤为突出,WWW直观、方便的使用方式和丰富的表达能力,已逐渐成为互联网中最重要的信息发布和传输方式。随着网络信息资源的急剧增长,越来越多的信息涌到人们的面前,搜索引擎就是在这样的背景下出现的,并且已经发挥出不可替代的作用,成为帮助人们从浩瀚的信息海洋中获取自己想要的信息的有效工具和一种举足轻重的网络应用手段[1]。
搜索引擎(searchengine)是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息,在对信息进行组织和处理后,为用户提供检索服务,将用户检索相关的信息展示给用户的系统。Web信息采集是搜索引擎最基础但也是最核心的功能,在网页搜索过程中发挥着举足轻重的作用,并随着技术的发展和应用的深化,它也越来越多的应用于站点结构分析、页面有效性分析、Web图进化、内容安全检测、用户兴趣挖掘以及个性化信息获取等多种服务和研究中。
但是通用搜索引擎如baidu、google等的局限性也日益凸显,集中反映在如下几个方面:1)用户使用通用搜索引擎的方式是通过关键字的方式实现的,是语义上的搜索,返回的结果倾向于知识成果,比如文章,论文,新闻等,不同领域、不同背景的用户检索需求往往不能满足;2)通用搜索引擎的目标是尽可能大的网络覆盖率,但是它的覆盖效果很不理想。微软亚洲研究院负责搜索的一名技术专家说:75%的内容通用搜索引擎搜索不出来。3)通用搜索引擎对那些信息含量密集且具有一定结构的数据(比如图片、数据[2]库、音频、视频等类型的数据)的搜索能力低下,不能很好地发现和获取。
在此背景下,针对特定专业领域提供搜索服务的主题搜索引擎作为搜索引擎主
要的发展趋势,正越来越受到人们的关注。它可以在较小的范围内取得比通用搜索
引擎更令人满意的结果,以满足某些特定用户的需要,主题搜索引擎将为某一特定领
域或某一专业领域提供更完善的深度搜索功能。文献标识码:A文章编号:1009-3044(2011)32-7887-03TheResearchofFocusedCrawlerTechnologyonOAresourceCollection
1聚焦爬虫技术
[3-4]聚焦爬虫(FocusedCrawler)又称为主题爬虫(TopicalCrawler),它的工作流程(如图1)比传统网络爬虫复杂一些,在抓取页面并提取出URL以后,会根据相应的URL分析算法保留尽可能多的主题相关度高的URL,并将其放入等待抓取的URL队列;与
主题无关或相关度不高的URL将被丢弃。然后再从URL队列里读取URL进行抓取,
并重复上述过程,直到满足爬行停止条件为止。而且,聚集爬出的系统中有专门的数
据库,用来存贮被爬虫抓取的网页,并有专门的功能模块对网页进行内容分析、特征
词提取,从而建立起相应的主题特征词库。特征词库建立以后,可以更好的对之后抓
取的网页进行分析和评价,把与主题无关或相关度不高的网页排除。
2特定主题—OA资源
OpenAccess即开放存取,简称OA,2002年2月14日发表的《布达佩斯开放存取计图1聚焦爬虫工作流程
收稿日期:2011-09-09
本栏目责任编辑:冯蕾网络通讯及安全7887
8页 2下载券 聚焦爬虫技术在OA资源采... 3页 1下载券喜欢此文档的还喜欢...计算机科学与技术 计算机应用技术 周斌副研究员 国防科学技术大学研究生院 二oo...
(解放军通信指挥学院六系二十队湖北摘 要:网络爬虫是一种自动下载网络资源的...在聚焦爬虫的应用中.广度优先策 略可以与网页过滤技术结合.即先用广 度优先...
(解放军通信指挥学院六系二十队摘 430010) 要:网络爬虫是一种自动下载网络资源...在聚焦爬虫的应用中 ,广 度优 先策 略可以与网页过滤技术结合 ,即先用广 ...
基于搜索引擎的开放存取技术是OA资源整合的重要技术之一,可以通过两种方式来实现对OA资源的整合,一是利用通用搜索引擎为代理来实现;二是基于网络爬虫的搜索引擎技术...
从而构 建一 个资源消耗小、 数据采集准确性高、...聚焦网络爬虫技术, 并对其数据更新机制进行了 研究,...在很多 P2P 搜索应用中, 主题描述一般不必 采用像...
+86-551-5690963 5690964 网络爬虫技术的研究孙立伟... 网络信息资源的迅猛增长使得传统搜索引擎已经无法满足...应用等方面研究了通用网络爬虫 、 聚焦网络爬虫 、 ...
? (3) 万维网数据形式的丰富和网络技术的不断发展...聚焦爬虫 ? 为了解决上述问题,定向抓取相关网页资源...? 很多研究者通过将广度优先搜索策略应用于主题爬虫...
自主采集 Web 页面内容的程序 ,聚焦网络 爬虫则实现...网络爬虫技术 , 并对其数据更新机制进行了 研究 ,...批量更新 ,实际的更新周期根据系统资源和应用 需求...
倒排文件 在当前大多数信息获取系统中得到应用, 它对于关键词的搜索非常有效。 ...作为搜索引擎的资源采集部分, 网络爬虫的性能将 直接影响到整个搜索引擎索引网页...
聚焦爬虫技术在OA资源采集... 3页 2财富值 英语句子 暂无评价 7页 1财富...绪论国际金融学的研究对象 教学目的 教材说明 主要参考资料 课程的结构安排 考核...
热门文档