随笔分类 -  storm

strom部署问题
摘要：1.storm 引用的 kafka和线上的kafka版本不一致 2.bolt的prepare初始化elasticsearch连接慢，导致第一次处理数据是总是有问题storm调用prepare方法是异步调用，不会等待所有的bolt中的prepare都完成。在处理第一条数据时等待一段时间， 3.时间窗口 阅读全文
posted @ 2019-07-16 23:08 努力挣扎的小兵 阅读(353) 评论(0) 推荐(0)
storm java环境变量设置
摘要：storm启动时会加载conf/storm-env.sh文件 编辑 conf/storm-env.sh 添加export JAVA_HOME=/usr/java/jdk1.8.0_111 阅读全文
posted @ 2019-07-16 23:07 努力挣扎的小兵 阅读(540) 评论(0) 推荐(0)
storm ui
摘要：主界面 Version：安装的storm集群的版本Supervisors：集群的supervisor个数Used slots：使用的slots的个数Free slots：空闲的slots的个数Total slots：slots（槽，即集群中的worker个数）的总个数Executors：总线程数Ta 阅读全文
posted @ 2019-07-16 23:05 努力挣扎的小兵 阅读(625) 评论(0) 推荐(0)
Reconnect due to socket error java.nio.channels.ClosedChannelException
摘要：storm整合kafka后出现如下异常： 错误原因：有部分kafka服务器连接不上导致，检查一下是不是每个kafka都能连接到（有的kafka配置使用的是host，记得配置相同的环境） 造成异常代码段：org.apache.storm.kafka.ZkCoordinator.refresh() 阅读全文
posted @ 2019-07-16 22:56 努力挣扎的小兵 阅读(1572) 评论(0) 推荐(0)
storm滑动窗口
摘要：Window滑动方式： 没有数据不滑动windowLength：窗口的时间长度/tuple个数slidingInterval：滑动的时间间隔/tuple个数 withWindow(Duration windowLength)1.表示每个tuple滑动一次,滑动的窗口的时间长度是windowLengt 阅读全文
posted @ 2019-07-16 22:54 努力挣扎的小兵 阅读(654) 评论(0) 推荐(0)
storm环境搭建
摘要：线上kafka版本 0.8.2.0线上zookeeper版本：zookeeper-3.4.5 1.配置三台服务的host127.0.0.1 storm01127.0.0.2 storm02127.0.0.3 storm03 开通防火墙#zookeeper,storm-A INPUT -s 127.0 阅读全文
posted @ 2019-07-16 22:52 努力挣扎的小兵 阅读(623) 评论(0) 推荐(0)