文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 计算机软件及应用 > storm集群版安装测试流程
侵权投诉

storm集群版安装测试流程

Storm集群版安装测试流程

最近研究Storm,现在把storm安装流程分享一下。请注意,千万慎用虚拟机,一开始本人采用虚拟机部署环境,折腾了两天都没搞定。后来使用真机,很多问题迎刃而解。

需要相关依赖环境:

JDK 6、Python2.7.*、Zookeeper、Zeromq、Jzmq、Storm、Git、Maven

Storm集群中包含两类节点:主控节点(Master Node)和工作节点(Work Node) 主控节点(Master Node)上运行一个被称为Nimbus的后台程序,它负责在Storm集群内分发代码,分配任务给工作机器,并且负责监控集群运行状态。Nimbus的作用类似于Hadoop中JobTracker的角色。

每个工作节点(Work Node)上运行一个被称为Supervisor的后台程序。Supervisor负责监听从Nimbus分配给它执行的任务,据此启动或停止执行任务的 工作进程。每一个工作进程执行一个Topology的子集;一个运行中的Topology由分布在不同工作节点上的多个工作进程组成。

Nimbus和Supervisor节点之间所有的协调工作是通过Zookeeper集群来实现的。此外,Nimbus和Supervisor进程都是快 速失败(fail-fast)和无状态(stateless)的;Storm集群所有的状态要么在Zookeeper集群中,要么存储在本地磁盘上。这意味着你可以用kill -9来杀死Nimbus和Supervisor进程,它们在重启后可以继续工作。这个设计使得Storm集群拥有不可思议的稳定性。

1、 第一步,安装Python2.7.2

wget

tar zxvf Python-2.7.2.tgz

cd Python-2.7.2

./configure

make

storm集群版安装测试流程

make install

第1页

你可能喜欢

热门文档

相关文档

  • Storm入门教程 第三章 Storm安装部署步骤(1)

    3.1 Storm 集群组件 第 2 页:3.2.2 安装 Storm 依赖库 第 3 页:3.2.4 修改 storm.yaml 配置文件 网络渗透测试——保护网络安全的技术、工具和过程 网络...

  • storm安装完整步骤

    storm安装完整步骤_互联网_IT/计算机_专业资料。storm安装完整步骤-总结...停止Storm Topology:storm kill {toponame} {toponame}为Topology提交到Storm集群...

  • Storm实时流处理框架PPT演讲_2013-11-05

    支持本地模式 可在本地模拟一个Storm集群功能、进行本地测试 ?高效用ZeroMQ作为...storm-cluster.html 《Storm集群安装部署步骤【详细版】》 SSH免密码配置为使各...

  • 中间件服务器安装及weblogic集群安装步骤和运行测试结果

    中间件服务器安装及weblogic集群安装步骤和运行测试结果_IT/计算机_专业资料。weblogic集群安装步骤东软集团股份有限公司 新疆生产建设兵团劳动和社会保障局 居民医疗...

  • Storm视频教程 Storm入门教程

    Zookeeper 集群搭建及基本使用 4、Storm 集群搭建及测试 5、API 简介和入门案例开发 6、Spout 的 Tail 特性、storm-starter 及 maven 使用、Grouping 策略 7、...

  • ...storm开发环境配置 3、Zookeeper集群搭建及基本使用...

    Storm流计算从入门到精通 —技术篇 3、Zookeeper集群搭建及基本使用 讲师:Cloudy...ZK安装步骤 1、下载解压: Wget http://mirror.bit.edu.cn/apache/zookeeper/...

  • Storm 安装

    install 测试 在命令行下输入 python,出现 python 解释器即表示已经正确安装。 ...好的,到这里,我们的 storm 集群就配置好了。 4. 启动:启动主节点:nohup bin...

  • Storm

    Storm依靠ZooKeeper集群实现节点间的信 息交换 3....1.7版,本次部署 使用了最近版本4.0.3,测试无...安装过程中的注意要点: ?1.ZeroMQ:直接运行./...

  • Storm指南

    开发过程中,可以用 本地模式来运行 Storm,返样就能在本地开发,在迕程中测试 Topology。一切就绪后,以 迖程模式运行 Storm,提交用亍在集群中运行的 Topology。...

  • Storm实时流处理框架PPT演讲_李乾文(DHU)

    支持本地模式 可在本地模拟一个Storm集群功能、进行本地测试 ?高效 用ZeroMQ...storm-cluster.html 《Storm集群安装部署步骤【详细版】》 SSH免密码配置为使各...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email