文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 互联网 > 基于Java的多线程网络爬虫设计与实现
侵权投诉

基于Java的多线程网络爬虫设计与实现

MicrocompurerApplications"CoL26,No.7’2010

研究与设计

微型电脑应用

2010年第26卷第7期

类的实现都是采用Java,数据库使用MySQL,除此以外还要用TomcatWeb服务器,如图l所示。

前台的设计使用jsp+jQuery的方式,jQuery是一种javascript工具包,提供对ajax的支持,能够实现无刷新的

页面布局。Ajax是目前一种流行的设计网页的方式。后台采用Servlet运行方式,获取前台通过ajax方式提交的参数,根据不同的选择(可能是关键词的搜索,也可能是某一个网址的搜索)进行处理。

图1WebCrawl盯的类i圉t.1

MultipleThreadCrawler实现了抽象类AbstractCrawler,它是Crawler实现的核心内容,主要对每一次的搜索数据的处理,多线程的协调等。在该类中实现两个私有类Worm和TextExtractor,前者实现对网页链接的搜索,并填充入Model中的toVisitUrls数据结构中,后者则是对当前搜索的网贞提取标题和摘要信息。

MaxDepthModel是一个存储数据的类,其包括已经访问过的Url和未访问过的Url,并且提供向数据结构中填充未访问的Url。采用接u的方式,也是为了能够在今后扩展具体实现。

HmalParser提供了对文本解析的方法,图2给出的用户提交待搜索的嗍站的时序图:

率(采用Java包匹配往往比较复杂)。同时在抽取hmal文本的文字信息时,也使用了这种技术,由于正则表达式表述的灵活性,并没有一种能够适合所有情况的匹配表达式,只有在实践过程中不断改进和优化。

4结束语

本文总结了、ⅣebCrawler在设计和实现过程中遇到的问题,并结合软件设计模式,给出一种WebCrawler可行的软件结构,并实现榆索,存储,显示等一系列问题,所给出的解决方法有一定的通用性,软件的框架能够根据实际的需要进行改写,可以在对当前已有得搜索引擎的搜索结果进行优化。WebCrawler是一个需要不断优化和改进的工具,其设计和实现可以采用多种方式,也可以根据Crawler的实际需要来设计。

参考文献

【11【2】【3】

图2时序图旧

宋晖,张岭,叶允明.基于标记树对象抽取技术的HiddenWeb获取研究啊.计算机工程与应用2002(23).

赫枫龄.用有向图法解决网页爬行中循环链接问题明.吉林大学学报,2004.3.

陈昊鹏,饶若楠.Java编程思想,第3版【l咽.机械工业出版社,2005.5.

3

WebCrawler的实现

本文设计的w.ebCrawler采用Java语言和MySql来实

【4】DerrickOswald等HtmlParser参考文档,

httr':/ihlmlparser.sourceforge.net.fOL].

f5】史寿伟.正则表达式参考文档,http://www.regexlab.corn/

zh/regrefihtm【OL].

【6】MartinFowlerUML精粹:标准对象建模语言简明指南

IM].2006.3.

(收稿日期:2010-03-19)

22

现,作为开源工具的组合,被心用在很多重要的领域。除了

前述提到的实现细节外,在获取html文本中的叫链接时使

用了正则表达式,可以提高文字的匹配速率和程序的运行效

上一页第2页

你可能喜欢

  • htmlparser
  • 变频器制动
  • 网络爬虫原理
  • 搜索引擎
  • 网络设计

热门文档

相关文档

  • 基于Java的多线程网络爬虫设计与实现

    基于Java的多线程网络爬虫设计与实现_IT/计算机_专业资料。多线程爬虫,加快爬行速度MicrocomputerApplicationsVoL26,No.7,2010 研究与设计 微型电脑应用 2010年第26...

  • 基于Java的多线程网络爬虫设计与实现

    26, No.7, 2010 研究与设计 微型电脑应用 2010 年第 26 卷第 7 期 文章编号:1007-757X(2010)7-0021-02 基于 Java 的多线程网络爬虫设计与实现姜梦稚摘 ...

  • 基于多线程的网络爬虫的设计与实现 - 副本

    本科毕业论文题学专目 基于多线程的网络爬虫的设计与实现 院 信息科学与技术...本课题所研究的网络爬虫采用广度优先搜索算法,并基于 Java 语言进行网络编程。...

  • 多线程网络爬虫的设计与实现

    1 程序实现 根据以上所述设计方案, 采用 JAVA 编程语言, 当把爬虫程序的线程数 Eclipse 平台实现了网络爬虫。 设为 5, 爬取深度设为 1, 且初始 U RL 设为...

  • 多线程网络爬虫的设计与实现

    Bloom 网络爬虫程序的测试1程序实现 根据以上所述设计方案.采用JAVA编程语言, Eclipse平台实现了网络爬虫。当把爬虫程序的线程数 设为5.爬取深度设为1,且初始URI...

  • 多线程网络爬虫的设计与实现

    多线程网络爬虫的设计与实现_计算机硬件及网络_IT/计算机_专业资料。多线程网络... 5页 免费 基于Java的多线程网络爬... 4页 1下载券喜欢此文档的还喜欢 ...

  • 多线程实现的Java爬虫程序

    多线程实现的Java爬虫程序_计算机软件及应用_IT/计算机_专业资料。www.bj-accp... 基于Java的多线程网络爬... 3页 1下载券 用Java实现多线程服务器... 7页...

  • 基于JAVA的多线程SPIDER的设计与实现

    基于JAVA的多线程SPIDER的设计与实现_工学_高等教育_教育专区。搜索引擎... 网络爬虫Java实现原理 24页 免费 基于Web的网络爬虫的设计... 3页 免费 ...

  • 【论文】基于Java多线程技术网络聊天程序的设计与实现

    基于Java多线程技术网络聊天程序的设计与实现_专业资料。当前网络十分发达,网络聊天软件也十分盛行,本文基于Java平台,使用多线程技术,采用TCP协议来实现网络聊天程序,...

  • 网络爬虫的设计与实现 毕业论文

    网络爬虫的设计与实现 毕业论文_信息与通信_工程科技_专业资料。摘要 摘要 ...本文通过 JAVA 实现了一个基于广度优先算法的多线程爬虫程序。本论文 阐述了...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email