storm

 

 

storm分布式部署

安装storm

root@s100:~# tar  xf  apache-storm-0.9.7.tar.gz  -C /soft/
root@s100:/soft# ln  -s  /soft/apache-storm-0.9.7  /soft/storm
#配置storm环境变量
root@s100:/soft# vim  /etc/environment 
STORM_HOME=/soft/storm
PATH='...........:/soft/storm/bin'
root@s100:/soft# source   /etc/environment 

　修改storm的配置文件

root@s100:/soft/storm/conf# cp  storm.yaml storm.yaml.bak
root@s100:/soft/storm/conf# vim  storm.yaml
#指定storm使用的zk集群
storm.zookeeper.servers:
     - "s101"
     - "s102"
     - "s103"
#指定storm集群中的nimbus节点所在的服务器
nimbus.host: "s100"
#指定nimbus启动JVM最大可用内存大小
nimbus.childopts: "-Xmx1024m"
#指定supervisor启动JVM最大可用内存大小
supervisor.childopts: "-Xmx1024m"
#指定supervisor节点上，每个worker启动JVM最大可用内存大小
worker.childopts: "-Xmx768m"
#指定ui启动JVM最大可用内存大小，ui服务一般与nimbus同在一个节点上。
ui.childopts: "-Xmx768m"
#指定supervisor节点上，启动worker时对应的端口号，每个端口对应槽，每个槽位对应一个worker
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

　将s100上部署的storm分发到supervisor上

root@s100:/soft# rsync -rl  /soft/*   s101:/soft/
root@s100:/soft# rsync -rl  /soft/*   s102:/soft/
root@s100:/soft# rsync -rl  /soft/*   s103:/soft/ 
#分发storm环境变量配置文件
root@s100:~# scp  /etc/environment  s101:/etc/  
root@s100:~# scp  /etc/environment  s102:/etc/  
root@s100:~# scp  /etc/environment  s103:/etc/

　启动storm

　　使用nohup(不挂起的意思)让storm进程在后台运行，如果只使用&命令后，作业被提交到后台运行，当前控制台没有被占用，但是一但把当前控制台关掉(退出帐户时)，作业就会停止运行。而nohup命令可以在你退出帐户之后继续运行相应的进程。

#在s100中启动nimbus和ui:
root@s100:~# nohup storm  nimbus &
root@s100:~# nohup  storm  ui &
#查看启动进程
root@s100:~# jps
15241 core
15178 nimbus
#supervis机器上启动storm
root@s101:~# nohup storm supervisor &
root@s102:~# nohup storm supervisor &
root@s103:~# nohup storm supervisor &
#在supervisor机器上查看启动进程
root@s101:~# jps
15234 supervisor
root@s102:~# jps
13123 supervisor
root@s103:~# jps
14562 supervisor

　通过ui来查看storm分布式状态：http://192.168.1.100:8080