nutch的入门教程,如何在windows下配置使用nutch 1.4,介绍了所需软件工具,及其详细的配置过程。
Nutch1.4在windows下的安装配置
0、介绍
ApacheNutch是用java语言开发的开源网页爬虫程序。使用Nutch可以自动获取网页中的超链接,在检查坏链接,创建遍历过的网页副本以便查询等方面,将会减少大量的维护工作。也由此产生了ApacheSolr。Solr是一个开源的全文搜索框架,通过Solr我们可以搜索Nutch遍历过的网页。而且Nutch和Solr的集成十分简易。
ApacheNutch框外支持Solr,这极大地简化了两者的集成。Solr不再依附ApacheTomcat来运行旧的NutchWeb应用,也不再依靠ApacheLucene来建立索引。
1、提前需要安装的工具和软件
1)Jdk1.7下载地址:Nutch是Java开发的所以需要下载安装JavaJDK。设置环境变量。
2)Cygwin下载地址:Nutch的脚本都是用Linux的Shell写的,所以在Windows平台需要一个Shell解释程序。Cygwin是一个在Windows下的模拟Linux系统程序。
我是下载的setup.exe,选择在线安装。具体的安装过程网上有很多,可以参照。
3)Nutch1.4下载地址:后缀名tar.gz为linux系统压缩包,zip为windows系统。
将下载的包,解压到一个盘的根目录下。可修改名称(便于调试进入)。
4)Solr3.5下载地址:Solr作用相当于tomcat+webapp。
将下载的包,解压到一个盘的根目录下。
2、验证Nutch的安装
打开cygwin,进入nutch-1.4/runtime/local,例如我把文件解压到d盘,文件名为
apache-nutch-1.4,于是命令为:
cd/cygdrive/d/apache-nutch-1.4/runtime/local,cygwin环境下,进入windows某个盘,加cygdrive,cd/cygdrive/d/就相当于进入d盘。在这里你使用命令时,注意路径的正确性。
输入bin/nutch,如果出现命令信息提示(如下图)

,则路径正确。
3、爬行你的第一个网站
1)在conf/nutch-site.xml中添加代理名称(agentname)
<configuration>标签间加入如下代码:
<property>
4页 1下载券 在windows上安装hadoop和... 13页 1下载券 windows中部署nutch...Nutch 在 Windows 中安装之细解 Nutch 在 Windows 中安装之细解 近来 Nutch 一...
Nutch1.4 windows下eclipse配置图文详解_IT/计算机_专业资料。详细介绍如何让...Cmd 中测试 ant 指令结果如下说明 ANT 安装成功可以进行下一步、 4 、安装 ...
在windows中如何安装Nutch 分类:Nutch2007.4.5 16:05 作者:mindyz 评论:0...\project\nutch-0.7.2\ 配置步骤: 1、配置cygwin中的环境 E:\Program Files...
Nutch在windows下的安装_IT/计算机_专业资料。Nutch在windows下的安装全程指导..."true"配置,最后如: <Connector port="8080" protocol="HTTP/1.1" ...
Directory"中设置,点击"下一步",如图 5 所示: 安装向导显示出所要安装的... nutch 1.4在windows下安... 3页 免费 Nutch安装向导 5页 免费 Nutch安装 ...
windows下nutch的安装配置... 4页 2财富值搜你所想,读你所爱 拒绝盗版,营造绿色文库 如要投诉违规内容,请到百度文库投诉中心;如要提出功能问题或意见建议,请...
windows下nutch的安装配置以及与tomcat的集成_IT/计算机_专业资料。windows下...4)在 nutch-1.2/bin/下建立文件夹 urls,然后在 urls 下面建立文件 url.txt...
windows下nutch的安装_IT/计算机_专业资料。windows下nutch的安装...nutch-0.9 C:\cygwin C:\jdk C:\tomcat 1 准备将中文的 API 文档配置到...
Apache Nutch 1.7 在windows和Linux下的安装_互联网_IT/计算机_专业资料。...下载安装 apache-nutch-1.7-bin.zip 并设置。下载地址:http://archive.apache...
nutch 环境配置在 windows 系统上(借助 Cygwin) nutch 环境配置在 windows 系统上必须要安装【Cygwin】。cygwin 是一个在 windows 平台上运行的 unix 模拟环境。 ...
热门文档