文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > HttpClient+Jericho HTML Parser 实现网页的抓取
侵权投诉

HttpClient+Jericho HTML Parser 实现网页的抓取

HttpClient+Jericho HTML Parser 实现网页的抓取

JerichoHTMLParser是一个简单而功能强大的JavaHTML解析器库,可以分析和处理HTML文档的一部分,包括一些通用的服务器端标签,同时也可以重新生成无法识别的或无效的HTML。它也提供了一个有用的HTML表单分析器。

下载地址:doc.guandang.net

HttpClient作为HTTP客户端组件与服务器进行通讯,同时使用了jdom进行XML数据的解析。

*HttpClient可以在

doc.guandang.net下载

*HttpClient用到了ApacheJakartacommon下的子项目logging,你可以从这个地址

doc.guandang.net下载到commonlogging,从下载后的压缩包中取出commons-logging.jar加到CLASSPATH中

*HttpClient用到了ApacheJakartacommon下的子项目codec,你可以从这个地址

doc.guandang.net下载到最新的commoncodec,从下载后的压缩包中取出commons-codec-1.x.jar加到CLASSPATH中

在对网页信息进行抓取时,主要会用到GET方法

使用HttpClient需要以下6个步骤:

1.创建HttpClient的实例

2.创建某种连接方法的实例,在这里是GetMethod。在GetMethod的构造函数中传入待连接的地址

3.调用第一步中创建好的实例的execute方法来执行第二步中创建好的method实例

4.读response

5.释放连接。无论执行方法是否成功,都必须释放连接

6.对得到后的内容进行处理

在eclipse下建立工程-->snatch

将上面下载的四个jar文件导入到项目路径中.

环境搭建完成

第1页

你可能喜欢

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email