02_Storm集群部署
1. 部署前的硬件及软件检查
硬件要求
1）storm集群部署包括zookeeper部署，而zookeeper集群最小为3台机器
2）storm的计算过程都在内存中完成，因此内存要尽量大
3）storm少部分数据在本地（topology提交会有本地目录，storm.local.dir/nimbus/inbox目录下），使用系统盘即可，不需要额外添加磁盘
软件要求
storm通过java编写，因此依赖于Java，同时还在少数情况下需要使用python(一般linux自带）
要提前保证java和python软件在待部署机器或虚拟机上的安装
集群部署注意事项
1）storm版本选择
* 不能太老（功能，性能）
* 该版本的参考资料必须足够多
* 最好不使用最新的版本（稳定性验证不够）
2. Storm集群部署
zookeeper的部署，请参考本博客的zookeeper系列，这里不在赘述
Storm集群部署
1)上传安装包到待部署节点，解压并得到安装目录
以我的为例，安装包上传到3个待部署节点的/usr/local/src/目录，解压后得到storm安装目录，同时修改安装目录名为storm-0.9.3
[/usr/local/src]chmod 755 apache-storm-0.9.3.tar.gz [/usr/local/src]tar -xzvf apache-storm-0.9.3.tar.gz [/usr/local/src]mv apache-storm-0.9.3 storm-0.9.3
2) 修改storm配置文件storm.yaml
任选1个节点，进入storm安装目录下的conf目录，找到配置文件storm.yaml
[/usr/local/src]cd storm-0.9.3/conf [/usr/local/src]vim storm.yaml
将配置文件中的一些注释符号#删除，配置如下信息
*storm.zookeeper.servers, zookeeper服务器地址，通过hostname配置
*nimbus.host, nimbus部署在哪一台机器上，通过hostname配置
*storm.local.dir, storm存储临时文件及nimbus上存放上传的任务jar包的目录，storm启动会自动创建该目录
*supervisor.slots.ports, supervisor节点能够运行的worker进程数，每个进程占用1个port
将该节点的配置文件保存，通过SCP分发到其他节点
[conf]scp –rp storm.yaml root@slave1:/usr/local/src/storm-0.9.3/conf/ [conf]scp –rp storm.yaml root@slave2:/usr/local/src/storm-0.9.3/conf/
3) Storm环境变量配置
复制storm安装目录路径，在/etc/profile尾部增加如下内容（所有集群节点都要配置环境变量）
# STORM HOME and PATH modify export STORM_HOME=/usr/local/src/storm-0.9.3 export PATH=$PATH:$STORM_HOME/bin
在所有集群节点上，使配置文件生效
# source /etc/profile
4) 启动nimbus及storm ui(网页形式的UI页面）
在storm-0.9.3/bin/目录下创建start.sh启动脚本（和supervisor的启动脚本不同），并填入如下内容
storm logviewer >dev/null 2>&1 & //ui页面上显示可滚动的log日志
给脚本增加执行权限, 并执行
# chomd 755 start.sh # ./start.sh
5) 启动supervisor节点
在storm-0.9.3/bin/目录下创建start.sh启动脚本（和supervisor的启动脚本不同），并填入如下内容
storm logviewer >dev/null 2>&1 & //ui页面上显示可滚动的log日志
给脚本增加执行权限, 并执行
# chomd 755 start.sh # ./start.sh
6) 查看各个节点上的storm进程
Nimbus节点
core为storm ui进程
Supervisor节点
7) 查看storm UI监控页面，部署完成
http://主节点ip:8080/
