HttpClient+Jericho HTML Parser 实现网页的抓取
JerichoHTMLParser是一个简单而功能强大的JavaHTML解析器库,可以分析和处理HTML文档的一部分,包括一些通用的服务器端标签,同时也可以重新生成无法识别的或无效的HTML。它也提供了一个有用的HTML表单分析器。
下载地址:doc.guandang.net
HttpClient作为HTTP客户端组件与服务器进行通讯,同时使用了jdom进行XML数据的解析。
*HttpClient可以在
doc.guandang.net下载
*HttpClient用到了ApacheJakartacommon下的子项目logging,你可以从这个地址
doc.guandang.net下载到commonlogging,从下载后的压缩包中取出commons-logging.jar加到CLASSPATH中
*HttpClient用到了ApacheJakartacommon下的子项目codec,你可以从这个地址
doc.guandang.net下载到最新的commoncodec,从下载后的压缩包中取出commons-codec-1.x.jar加到CLASSPATH中
在对网页信息进行抓取时,主要会用到GET方法
使用HttpClient需要以下6个步骤:
1.创建HttpClient的实例
2.创建某种连接方法的实例,在这里是GetMethod。在GetMethod的构造函数中传入待连接的地址
3.调用第一步中创建好的实例的execute方法来执行第二步中创建好的method实例
4.读response
5.释放连接。无论执行方法是否成功,都必须释放连接
6.对得到后的内容进行处理
在eclipse下建立工程-->snatch
将上面下载的四个jar文件导入到项目路径中.
环境搭建完成
使用HttpClient+Jericho HTML Parser 实现网页抓取 Posted by: admin in: Uncategorized ericho HTML Parser是一个简单而功能强大的Java HTML解析器库,可以分析和处理...
文中详细介绍了如何使用HtmlParser来提取网页当中的超链接信息,将其清洗后存入SQL数据库当中,以备后续工作使用。维普资讯 http://www.cqvip.com 第2 期86 gg ...
/** * 基本能实现网页抓取,不过要手动输入 URL 将整个 html 内容保存到指定文件...使用 HttpClient 和 HtmlParser 实现简易爬虫 使用本小结简单的介绍一下 ...
HtmlParser提取网页信息的设计与实现_IT/计算机_专业资料。html解析第...网页解析是不能接受 (“http:,,’洲.yah∞.com. cn”);如果是对本地HTML...
基于HTMLParser的网页信息提取技术研究_IT/计算机_专业...首先将已抓取 为实现对信息自动提取, 将整个处理...[EB/EL].http://htmlparser.soureeforge.net[5]...
基于HTML Parser的网页信息提取技术研究_IT/计算机_专业...实现【D】.重庆大学,2007.【3】袁宇丽.基于HTML...http://d.g.wanfangdata.com.cn/Periodical_xz...
最后,利用HTMLParser提取收集到的网页商品信息,为建立垂直搜索引擎提供信息源。计 算机 光盘 软件 与应 用 多媒体技术及应用 Cmue DSfwr n plctosoptrC otaeadApiain...
基于HTMLParser视频信息... 10人阅读 8页 3.00 HtmlParser提取网页信息.....本 文主要讨 论如 何基于 HT asrMLPre 的平 台, 更加精 确的抓取 BB S信...
此基础上实现了一个简易的网络爬虫 (Crawler),来说明如何使用 发送 HtmlParser 根据需要处理 Internet 上的网页,以及如何使用 HttpClient 来简化 Get 和 Post 请求...
Java 使用 HtmlParser 实现简单的网络爬虫 目的 Java 使用 HtmlParser 抓取网页...使用HttpClient 和 Htm... 20页 免费 一个网络爬虫的Java实现 11页 免费 java...
热门文档