Nutch是一个Java开源项目,拥有近十年的历史,从一开始的搜索引擎演变为如今的网络爬虫。在Nutch的进化过程中,产生了Hadoop、Tika和Gora三个Java开源项目。如今这三个项目都发展迅速,极其火爆,尤其是Hadoop,其已成为大数据和云计算的代名词。
第二十讲
1、Ganglia以单播方式监控跨多个网段的单一集群
vi /etc/ganglia/gmetad.conf
data_source "hadoop-cluster" 10 host6
/etc/init.d/gmetad restart
在集群的所有节点中指定以下配置:
vi /etc/ganglia/gmond.conf
指定集群名称:
cluster {
name = "hadoop-cluster"
owner = "unspecified"
latlong = "unspecified"
url = "unspecified"
}
指定接收数据的节点: udp_send_channel {
# mcast_join = 239.2.11.71
host = host6
port = 8649
ttl = 1 }
udp_recv_channel { # mcast_join = 239.2.11.71
port = 8649
# bind = 239.2.11.71
}
/etc/init.d/ganglia-monitor restart
2、配置Hadoop集群使用单播地址
vi conf/hadoop-metrics2.properties
设置内容为:
# 大于0.20以后的版本用ganglia31
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
*.sink.ganglia.period=10
# default for supportsparse is false
*.sink.ganglia.supportsparse=true
*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
Nutch相关框架视频教程(Hadoop、Hbase、Lucene、Solr、Tika、Gora)(1-12讲)_计算机软件及应用_IT/计算机_专业资料。Nutch是一个Java开源项目,拥有近十年的历史,...
Nutch 相关框架视频教程 第一讲 1、 通过 nutch,诞生了 hadoop、tika、gora。...lucene/solr/3.6.2/apache-solr-3.6.2.tgz tar -xzvf apache-solr-3.6...
Hadoop Cluster(分布式运行模式)并运行 Nutch 七、...lucene/solr/3.6.1/apache-solr-3.6.1.tgz ....1, gora-0.2.1 使用 hbase-0.90.4,hbase-0...
Hadoop Cluster(分布式运行模式)并运行 Nutch 七、...lucene/solr/3.6.1/apache-solr-3.6.1.tgz ....1, gora-0.2.1 使用 hbase-0.90.4,hbase-0...
热门文档