MicrocompurerApplications"CoL26,No.7’2010
研究与设计
微型电脑应用
2010年第26卷第7期
类的实现都是采用Java,数据库使用MySQL,除此以外还要用TomcatWeb服务器,如图l所示。
前台的设计使用jsp+jQuery的方式,jQuery是一种javascript工具包,提供对ajax的支持,能够实现无刷新的
页面布局。Ajax是目前一种流行的设计网页的方式。后台采用Servlet运行方式,获取前台通过ajax方式提交的参数,根据不同的选择(可能是关键词的搜索,也可能是某一个网址的搜索)进行处理。
图1WebCrawl盯的类i圉t.1
MultipleThreadCrawler实现了抽象类AbstractCrawler,它是Crawler实现的核心内容,主要对每一次的搜索数据的处理,多线程的协调等。在该类中实现两个私有类Worm和TextExtractor,前者实现对网页链接的搜索,并填充入Model中的toVisitUrls数据结构中,后者则是对当前搜索的网贞提取标题和摘要信息。
MaxDepthModel是一个存储数据的类,其包括已经访问过的Url和未访问过的Url,并且提供向数据结构中填充未访问的Url。采用接u的方式,也是为了能够在今后扩展具体实现。
HmalParser提供了对文本解析的方法,图2给出的用户提交待搜索的嗍站的时序图:
率(采用Java包匹配往往比较复杂)。同时在抽取hmal文本的文字信息时,也使用了这种技术,由于正则表达式表述的灵活性,并没有一种能够适合所有情况的匹配表达式,只有在实践过程中不断改进和优化。
4结束语
本文总结了、ⅣebCrawler在设计和实现过程中遇到的问题,并结合软件设计模式,给出一种WebCrawler可行的软件结构,并实现榆索,存储,显示等一系列问题,所给出的解决方法有一定的通用性,软件的框架能够根据实际的需要进行改写,可以在对当前已有得搜索引擎的搜索结果进行优化。WebCrawler是一个需要不断优化和改进的工具,其设计和实现可以采用多种方式,也可以根据Crawler的实际需要来设计。
参考文献
【11【2】【3】
图2时序图旧
宋晖,张岭,叶允明.基于标记树对象抽取技术的HiddenWeb获取研究啊.计算机工程与应用2002(23).
赫枫龄.用有向图法解决网页爬行中循环链接问题明.吉林大学学报,2004.3.
陈昊鹏,饶若楠.Java编程思想,第3版【l咽.机械工业出版社,2005.5.
3
WebCrawler的实现
本文设计的w.ebCrawler采用Java语言和MySql来实
【4】DerrickOswald等HtmlParser参考文档,
httr':/ihlmlparser.sourceforge.net.fOL].
f5】史寿伟.正则表达式参考文档,http://www.regexlab.corn/
zh/regrefihtm【OL].
【6】MartinFowlerUML精粹:标准对象建模语言简明指南
IM].2006.3.
(收稿日期:2010-03-19)
22
现,作为开源工具的组合,被心用在很多重要的领域。除了
前述提到的实现细节外,在获取html文本中的叫链接时使
用了正则表达式,可以提高文字的匹配速率和程序的运行效
基于Java的多线程网络爬虫设计与实现_IT/计算机_专业资料。多线程爬虫,加快爬行速度MicrocomputerApplicationsVoL26,No.7,2010 研究与设计 微型电脑应用 2010年第26...
26, No.7, 2010 研究与设计 微型电脑应用 2010 年第 26 卷第 7 期 文章编号:1007-757X(2010)7-0021-02 基于 Java 的多线程网络爬虫设计与实现姜梦稚摘 ...
本科毕业论文题学专目 基于多线程的网络爬虫的设计与实现 院 信息科学与技术...本课题所研究的网络爬虫采用广度优先搜索算法,并基于 Java 语言进行网络编程。...
1 程序实现 根据以上所述设计方案, 采用 JAVA 编程语言, 当把爬虫程序的线程数 Eclipse 平台实现了网络爬虫。 设为 5, 爬取深度设为 1, 且初始 U RL 设为...
Bloom 网络爬虫程序的测试1程序实现 根据以上所述设计方案.采用JAVA编程语言, Eclipse平台实现了网络爬虫。当把爬虫程序的线程数 设为5.爬取深度设为1,且初始URI...
多线程网络爬虫的设计与实现_计算机硬件及网络_IT/计算机_专业资料。多线程网络... 5页 免费 基于Java的多线程网络爬... 4页 1下载券喜欢此文档的还喜欢 ...
多线程实现的Java爬虫程序_计算机软件及应用_IT/计算机_专业资料。www.bj-accp... 基于Java的多线程网络爬... 3页 1下载券 用Java实现多线程服务器... 7页...
基于JAVA的多线程SPIDER的设计与实现_工学_高等教育_教育专区。搜索引擎... 网络爬虫Java实现原理 24页 免费 基于Web的网络爬虫的设计... 3页 免费 ...
基于Java多线程技术网络聊天程序的设计与实现_专业资料。当前网络十分发达,网络聊天软件也十分盛行,本文基于Java平台,使用多线程技术,采用TCP协议来实现网络聊天程序,...
网络爬虫的设计与实现 毕业论文_信息与通信_工程科技_专业资料。摘要 摘要 ...本文通过 JAVA 实现了一个基于广度优先算法的多线程爬虫程序。本论文 阐述了...
热门文档