Nutch是一个Java开源项目,拥有近十年的历史,从一开始的搜索引擎演变为如今的网络爬虫。在Nutch的进化过程中,产生了Hadoop、Tika和Gora三个Java开源项目。如今这三个项目都发展迅速,极其火爆,尤其是Hadoop,其已成为大数据和云计算的代名词。
第十三讲
1、改变负载
三台机器,改变负载 host2(NameNode、DataNode、TaskTracker)
host6(SecondaryNameNode、DataNode、TaskTracker)
host8(JobTracker 、DataNode、TaskTracker)
指定SecondaryNameNode为host6:
vi conf/masters指定host6
scp conf/masters host6:/home/hadoop/hadoop-1.1.2/conf/masters
scp conf/masters host8:/home/hadoop/hadoop-1.1.2/conf/masters
vi conf/hdfs-site.xml
<property>
<name>dfs.http.address</name>
<value>host2:50070</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>host6:50090</value>
</property> scp conf/hdfs-site.xml host6:/home/hadoop/hadoop-1.1.2/conf/hdfs-site.xml
scp conf/hdfs-site.xml host8:/home/hadoop/hadoop-1.1.2/conf/hdfs-site.xml
指定JobTracker为host8:
vi conf/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>host8:9001</value>
</property>
scp conf/mapred-site.xml host6:/home/hadoop/hadoop-1.1.2/conf/mapred-site.xml scp conf/mapred-site.xml host8:/home/hadoop/hadoop-1.1.2/conf/mapred-site.xml
vi conf/core-site.xml
<property>
<name>fs.checkpoint.dir</name>
<value>/home/hadoop/dfs/filesystem/namesecondary</value>
</property>
scp conf/core-site.xml host6:/home/hadoop/hadoop-1.1.2/conf/core-site.xml
Nutch相关框架视频教程(Hadoop、Hbase、Lucene、Solr、Tika、Gora)(1-12讲)_计算机软件及应用_IT/计算机_专业资料。Nutch是一个Java开源项目,拥有近十年的历史,...
Nutch 相关框架视频教程 第一讲 1、 通过 nutch,诞生了 hadoop、tika、gora。...lucene/solr/3.6.2/apache-solr-3.6.2.tgz tar -xzvf apache-solr-3.6...
Hadoop Cluster(分布式运行模式)并运行 Nutch 七、...lucene/solr/3.6.1/apache-solr-3.6.1.tgz ....1, gora-0.2.1 使用 hbase-0.90.4,hbase-0...
Hadoop Cluster(分布式运行模式)并运行 Nutch 七、...lucene/solr/3.6.1/apache-solr-3.6.1.tgz ....1, gora-0.2.1 使用 hbase-0.90.4,hbase-0...
热门文档