08 2013 档案

摘要:Storm在集群上运行一个Topology时,主要通过以下3个实体来完成Topology的执行工作: 1. Worker(进程) 2. Executors(线程) 3. Tasks 阅读全文
posted @ 2013-08-26 15:58 yufengof 阅读(12202) 评论(7) 推荐(3)
摘要:相信很多使用Intellj IDE的朋友对其split screen功能赞赏有加!其实在eclipse中也可以方便地代码编辑多windows、多views!但是隐藏的有点深,很多朋友不常用到,甚至以为eclipse不支持。。。搜索引擎也很少相关的设置技巧,下面介绍下如何设置。 阅读全文
posted @ 2013-08-15 17:17 yufengof 阅读(1772) 评论(0) 推荐(0)
摘要:实现了java代码中不import Assignment类即可从zookeeper获取clojure序列化的master_code_dir属性值。storm源码是clojure、java、python的混合体。在解决storm-0.8.2的nimbus单点问题的过程中需要从zookeeper上读取目前storm集群中正在运行的assignments信息,以获取其代码在nimbus机器上的绝对路径(PS:通过java代码实现自定义的storage)。 阅读全文
posted @ 2013-08-14 12:53 yufengof 阅读(1217) 评论(0) 推荐(1)
摘要:twitter storm是由backtype公司创始人nathanmarz一手研发和开源的流计算(实时计算)框架,堪称实时计算领域的hadoop。nathanmarz也是在mac os x环境下开发和编译,因此本文介绍下如何在mac os x上编译twitter storm源码,希望对storm深入进行源码级学习和开发的朋友可以参考,本文以master上的0.9.0-wip21版本为例,其他旧版本大体类似。 阅读全文
posted @ 2013-08-06 11:46 yufengof 阅读(1179) 评论(1) 推荐(2)