摘要：
1、Storm并行度相关的概念Storm集群有很多节点，按照类型分为nimbus（主节点）、supervisor（从节点），在conf/storm.yaml中配置了一个supervisor有多个槽（supervisor.slots.ports），每个槽就是一个JVM，就是一个worker，在每个wo... 阅读全文
posted @ 2015-06-07 21:57
lishouguang
阅读(1193)
评论(0)
推荐(0)
摘要：
监控指定文件夹，读取文件（新文件动态读取）里的内容，统计单词的数量。FileSpout.java，监控文件夹，读取新文件内容1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484... 阅读全文
posted @ 2015-06-07 21:56
lishouguang
阅读(518)
评论(0)
推荐(0)
摘要：
default.yaml文件所在位置：apache-storm-0.9.4.tar.gz/apache-storm-0.9.4/lib/storm-core-0.94.jar/default.yaml文件内容如下：1234567891011121314151617181920212223242526... 阅读全文
posted @ 2015-06-07 21:55
lishouguang
阅读(795)
评论(0)
推荐(0)
摘要：
1、下载、解压缩2、编辑conf/storm.yaml12345678910111213141516storm.zookeeper.servers:- "vm1"# - "server2"#storm.zookeeper.port: 2181storm.local.dir: "/usr/local/... 阅读全文
posted @ 2015-06-07 21:54
lishouguang
阅读(339)
评论(0)
推荐(0)
摘要：
概念本文列出了Storm的主要概念及相关的信息链接。讨论到的概念有：TopologiesStreamsSpoutsBoltsStreamgroupingsReliabilityTasksWorkersTopologies实时应用的逻辑被打包成了Storm topology。Storm topolog... 阅读全文
posted @ 2015-06-07 21:53
lishouguang
阅读(558)
评论(0)
推荐(0)
摘要：
参考文档：http://zookeeper.apache.org/doc/trunk/zookeeperStarted.html一、独立模式(standalone mode)安装 1、下载zookeeper安装包并解压tar -zxvf zookeeper-3.4.6.tar.gz 2、在con... 阅读全文
posted @ 2015-06-07 21:49
lishouguang
阅读(244)
评论(0)
推荐(0)
摘要：
ZKUtils.javapackage test;import java.io.IOException;import java.util.concurrent.CountDownLatch;import org.apache.zookeeper.WatchedEvent;import org.apa... 阅读全文
posted @ 2015-06-07 20:03
lishouguang
阅读(497)
评论(0)
推荐(0)
摘要：
一端不停的更新配置，另一端监听这个配置的变化。 需要注意的是：监听端不一定读取到所有的变化。在zk服务器发送通知到客户端，客户端读取数据注册监听之间可能发生了多次数据变化，这些数据变化是得不到通知的。但可以保证的是每次通知得到的数据都是比之前的数据要新的。ZKUtils.javapackage... 阅读全文
posted @ 2015-06-07 19:58
lishouguang
阅读(306)
评论(0)
推荐(0)
摘要：
模拟leader选举:1、zookeeper服务器上有一个/leader节点2、在/leader节点下创建短暂顺序节点/leader/lock-xxxxxxx3、获取/leader的所有子节点并注册监听4、拿自己的顺序号跟其他子节点的顺序号比较，如果自己的是最小的则获得leader5、监听到/lea... 阅读全文
posted @ 2015-06-07 19:56
lishouguang
阅读(963)
评论(0)
推荐(0)
摘要：
使用ZooKeeper实现的FIFO队列，这个队列是分布式的。package fifo;import java.util.Collections;import java.util.List;import java.util.concurrent.CountDownLatch;import org.a... 阅读全文
posted @ 2015-06-07 19:52
lishouguang
阅读(746)
评论(0)
推荐(0)
浙公网安备 33010602011771号