Storm集群搭建

  (1)前期准备三台服务器,IP地址分别是172.31.19.222,172.31.19.223,172.31.19.224

  (2)zookeeper集群搭建:可以参考之前的博文 http://www.cnblogs.com/gdpuzxs/p/7126241.html

  (3)安装storm依赖库,执行 python -V ,如果显示如下,则系统已经安装,否则需要安装python。

    

  (4)下载并解压storm压缩包

tar -xzvf  apache-storm-0.9.5.tar.gz -C /usr/local

  (5)配置环境变量

vim /etc/profile

export STORM_HOME=/usr/local/storm

PATH=$PATH:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$JRE_HOME/bin:$STORM_HOME/bin

  (6)修改storm.yaml配置文件

vim /usr/local/storm/conf/storm.yaml

 storm.zookeeper.servers:
     - "172.31.19.222"
     - "172.31.19.223"
     - "172.31.19.224"
 nimbus.host: "172.31.19.222"
 storm.local.dir: "/usr/local/storm/data"
 ui.port: 18080
 supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703
 其中,(1)storm.zookeeper.servers:storm集群使用的zookeeper集群地址。
    (2)nimbus.host:storm 集群nimbus的IP地址。
    (3)storm.local.dir:Nimbus和Supervisor进程存储少量状态位置,需要提前建立data文件夹,如下:
mkdir -p /usr/local/storm/data

    (4)ui.port:设置storm ui 启动端口号

    (5)supervisor.slots.ports:对于每个Supervisor工作节点,需要配置该工作节点可以运行的worker数量。

      每个worker占用一个单独的端口用于接收消息,该配置选项即用于定义哪些端口是可被worker使用的。

      默认情况下,每个节点上可运行4个workers,分别在6700、6701、6702和6703端口。

  (7)启动storm

    (1)先启动三个节点的zookeeper集群

    (2)Nimbus: 在Storm主控节点上运行 "storm nimbus &" 启动Nimbus后台程序,并放到后台执行;

           启动后,目录 /usr/local/storm 会产生一个logs日志文件下,进入目录,可以使用 tail -f nimbus.log 查看启动是否成功。

    (3)Supervisor: 在Storm各个工作节点上运行" storm supervisor &"启动Supervisor后台程序,并放到后台执行;

            启动后,目录 /usr/local/storm 会产生一个logs日志文件下,进入目录,可以使用 tail -f  supervisor.log 查看启动是否成功。

    (4)UI: 在Storm主控节点上运行 "storm ui &" 启动UI后台程序,并放到后台执行;

            启动后可以通过http://172.31.19.222:18080/index.html 观察集群的worker资源使用情况、Topologies的运行状态等信息,

       界面如下:

   

   至此,storm集群已经搭建完成!

   参考地址:http://blog.csdn.net/wulantian/article/details/46894727

posted @ 2017-08-24 15:16  gdpuzxs  阅读(195)  评论(0编辑  收藏  举报