Nutch是一个Java开源项目,拥有近十年的历史,从一开始的搜索引擎演变为如今的网络爬虫。在Nutch的进化过程中,产生了Hadoop、Tika和Gora三个Java开源项目。如今这三个项目都发展迅速,极其火爆,尤其是Hadoop,其已成为大数据和云计算的代名词。
第十八讲
1、准备压缩数据
从dmoz下载url库
wget doc.guandang.net gunzip content.rdf.u8.gz
准备nutch1.6
svn co doc.guandang.net
cp release-1.6/conf/nutch-site.xml.template release-1.6/conf/nutch-site.xml
vi release-1.6/conf/nutch-site.xml
增加:
<property>
<name>http.agent.name</name>
<value>nutch</value>
</property> cd release-1.6
ant
cd ..
使用DmozParser把dmoz的URL库解析为文本 release-1.6/runtime/local/bin/nutch org.apache.nutch.tools.DmozParser content.rdf.u8
将url文本内容放到HDFS上面
hadoop fs -put urls urls
2、以不同压缩方法注入URL 进入nutch主目录
cd release-1.6
以未压缩的方式注入URL
runtime/deploy/bin/nutch inject data_no_compress/crawldb urls
以默认压缩的方式注入URL
vi conf/nutch-site.xml
<property>
<name>mapred.output.compression.type</name>
<value>BLOCK</value>
</property>
<property>
<name>mapred.output.compress</name>
<value>true</value>
</property>
<property>
> urls &
Nutch相关框架视频教程(Hadoop、Hbase、Lucene、Solr、Tika、Gora)(1-12讲)_计算机软件及应用_IT/计算机_专业资料。Nutch是一个Java开源项目,拥有近十年的历史,...
Nutch 相关框架视频教程 第一讲 1、 通过 nutch,诞生了 hadoop、tika、gora。...lucene/solr/3.6.2/apache-solr-3.6.2.tgz tar -xzvf apache-solr-3.6...
Hadoop Cluster(分布式运行模式)并运行 Nutch 七、...lucene/solr/3.6.1/apache-solr-3.6.1.tgz ....1, gora-0.2.1 使用 hbase-0.90.4,hbase-0...
Hadoop Cluster(分布式运行模式)并运行 Nutch 七、...lucene/solr/3.6.1/apache-solr-3.6.1.tgz ....1, gora-0.2.1 使用 hbase-0.90.4,hbase-0...
热门文档