文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 计算机软件及应用 > Nutch相关框架视频教程(Hadoop、Hbase、Lucene、Solr、Tika、Gora)(13-20讲)
侵权投诉

Nutch相关框架视频教程(Hadoop、Hbase、Lucene、Solr、Tika、Gora)(13-20讲)

Nutch是一个Java开源项目,拥有近十年的历史,从一开始的搜索引擎演变为如今的网络爬虫。在Nutch的进化过程中,产生了Hadoop、Tika和Gora三个Java开源项目。如今这三个项目都发展迅速,极其火爆,尤其是Hadoop,其已成为大数据和云计算的代名词。

<name>mapred.compress.map.output</name>

<value>true</value>

</property>

<property>

<name>mapred.map.output.compression.codec</name>

<value>org.apache.hadoop.io.compress.DefaultCodec</value>

</property>

<property>

<name>mapred.output.compression.codec</name>

<value>org.apache.hadoop.io.compress.DefaultCodec</value>

</property> ant

runtime/deploy/bin/nutch inject data_default_compress/crawldb urls

以Gzip压缩的方式注入URL

vi conf/nutch-site.xml

<property>

<name>mapred.output.compression.type</name>

<value>BLOCK</value>

</property>

<property>

<name>mapred.output.compress</name>

<value>true</value>

</property>

<property>

<name>mapred.compress.map.output</name>

<value>true</value>

</property>

<property>

<name>mapred.map.output.compression.codec</name>

<value>org.apache.hadoop.io.compress.GzipCodec</value>

</property>

<property>

<name>mapred.output.compression.codec</name>

<value>org.apache.hadoop.io.compress.GzipCodec</value>

</property> ant

runtime/deploy/bin/nutch inject data_gzip_compress/crawldb urls

以BZip2的压缩方式注入URL

vi conf/nutch-site.xml

<property>

<name>mapred.output.compression.type</name>

<value>BLOCK</value>

上一页第10页

你可能喜欢

热门文档

相关文档

  • ...Hbase、Lucene、Solr、Tika、Gora)(1-12讲)

    Nutch相关框架视频教程(Hadoop、Hbase、Lucene、Solr、Tika、Gora)(1-12讲)_计算机软件及应用_IT/计算机_专业资料。Nutch是一个Java开源项目,拥有近十年的历史,...

  • Nutch相关框架视频教程

    Nutch 相关框架视频教程 第一讲 1、 通过 nutch,诞生了 hadoop、tika、gora。...lucene/solr/3.6.2/apache-solr-3.6.2.tgz tar -xzvf apache-solr-3.6...

  • Nutch相关框架安装使用最佳指南

    Hadoop Cluster(分布式运行模式)并运行 Nutch 七、...lucene/solr/3.6.1/apache-solr-3.6.1.tgz ....1, gora-0.2.1 使用 hbase-0.90.4,hbase-0...

  • Nutch相关框架安装使用最佳指南

    Hadoop Cluster(分布式运行模式)并运行 Nutch 七、...lucene/solr/3.6.1/apache-solr-3.6.1.tgz ....1, gora-0.2.1 使用 hbase-0.90.4,hbase-0...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email