Storm集群的搭建

storm的环境和hadoop的环境没有任何关系

1、安装Zookeeper集群

2、解压storm

3、修改文件conf/storm.yaml

3.1、配置zookeeper服务器  

storm.zookeeper.servers:
    - "hadoop112"
    - "hadoop113"
    - "hadoop114"

 

3.2、配置本地路径

storm.local.dir: /usr/storm/tmp

 

3.3、配置slots端口  

supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

 

3.4、配置master节点

nimbus.host: "hadoop110"

 

4、复制到其他zookeeper节点

5、在nimbus执行

bin/storm nimbus > /dev/null 2>&1 &
#或者
nohup bin/storm nimbus &
#启动Nimbus后台程序，并放到后台执行

 

6、在supervisor节点执行

bin/storm supervisor > /dev/null 2>&1 &
#或者
nohup bin/storm supervisor &
#启动Supervisor后台程序，并放到后台执行

 

 7、在nimbus节点执行

bin/storm ui > /dev/null 2>&1 &
#或者
nohup bin/storm ui &

 

启动UI后台程序，并放到后台执行，启动后可以通过端口8080观察集群的worker资源使用情况、topology的运行状态等信息

 

YAML文件约定：

（1）使用两个空格作为一级缩进是YAML的约定，不能使用制表符来代替

（2）以“:”为结束符的字符串，代表了一个键名，“:”后面则是键值。“：”和键值之间必须有至少一个空格。

（3）列表元素前面的“-”必不可少，并且要跟随至少一个空格也可以使用- [value1,value2,value3]表示列表