Nutch是一个Java开源项目,拥有近十年的历史,从一开始的搜索引擎演变为如今的网络爬虫。在Nutch的进化过程中,产生了Hadoop、Tika和Gora三个Java开源项目。如今这三个项目都发展迅速,极其火爆,尤其是Hadoop,其已成为大数据和云计算的代名词。
Ganglia主要是用来监控大规模分布式系统的性能,如:cpu 、内存、硬盘、负载、网络流量等。Ganglia支持通过浏览器访问,强大的图表展示方式很容易直观地了解每个节点以及整个集群的工作状态,对集群运行参数调整、提高系统整体资源利用率起到重要作用。
1、 配置服务端
host6作为服务端:
创建用户和组:
addgroup ganglia
adduser --ingroup ganglia ganglia
安装:
apt-get install gmetad
apt-get install rrdtool
apt-get install ganglia-webfrontend
apt-get install ganglia-monitor
配置gmond:
vi /etc/ganglia/gmond.conf
先找到setuid = yes,改成setuid =no;
在找到cluster块中的name,改成name =”hadoop-cluster”;
配置gmetad:
vi /etc/ganglia/gmetad.conf
在这个配置文件中增加datasource,即增加以下内容:
data_source “hadoop-cluster” 10 host2 host6 host8
gridname "Hadoop"
指定web文件夹:
ln -s /usr/share/ganglia-webfrontend /var/www/ganglia
指定主机名:
vi /etc/apache2/apache2.conf
添加: ServerName host6
重启服务:
/etc/init.d/gmetad restart
/etc/init.d/ganglia-monitor restart
/etc/init.d/apache2 restart
2、 配置客户端
在host2和host8上安装数据收集服务:
创建用户和组:
addgroup ganglia
adduser --ingroup ganglia ganglia
安装:
Nutch相关框架视频教程(Hadoop、Hbase、Lucene、Solr、Tika、Gora)(1-12讲)_计算机软件及应用_IT/计算机_专业资料。Nutch是一个Java开源项目,拥有近十年的历史,...
Nutch 相关框架视频教程 第一讲 1、 通过 nutch,诞生了 hadoop、tika、gora。...lucene/solr/3.6.2/apache-solr-3.6.2.tgz tar -xzvf apache-solr-3.6...
Hadoop Cluster(分布式运行模式)并运行 Nutch 七、...lucene/solr/3.6.1/apache-solr-3.6.1.tgz ....1, gora-0.2.1 使用 hbase-0.90.4,hbase-0...
Hadoop Cluster(分布式运行模式)并运行 Nutch 七、...lucene/solr/3.6.1/apache-solr-3.6.1.tgz ....1, gora-0.2.1 使用 hbase-0.90.4,hbase-0...
热门文档