07 2017 档案

摘要:本文主要是解析SpoutOutputCollector源码,顺便分析该类中所涉及的设计模式–代理模式。 首先介绍一下Spout输出收集器接口–ISpoutOutputCollector,该接口主要声明了以下3个抽象方法用来约束ISpoutOutputCollector的实现类。接口定义与方法说明如下 阅读全文
posted @ 2017-07-31 08:46 脑机接口 阅读(711) 评论(0) 推荐(0)
摘要:EvenScheduler同DefaultScheduler一样,同样实现了IScheduler接口, 由下面代码可以看出: 它是通过调用schedule-topologies-evenly方法来完成任务分配的. schedule-topologies-evenly方法的具体定义如下: fn1: f 阅读全文
posted @ 2017-07-29 08:42 脑机接口 阅读(484) 评论(0) 推荐(0)
摘要:Scheduler作为Storm的调度器,负责为Topology分配可用资源。 Storm提供了IScheduler接口,用户可以通过实现该接口来自定义Scheduler。 其定义如下: 真正选择哪个调度器来对Topology进行分配的方法是mk-assignments。 mk-assignment 阅读全文
posted @ 2017-07-28 16:30 脑机接口 阅读(478) 评论(0) 推荐(0)
摘要:mk-assignments主要功能就是产生Executor与节点+端口的对应关系,将Executor分配到某个节点的某个端口上,以及进行相应的调度处理。代码注释如下: 在该过程中,如果某个Slot不存在Executor的超时,而Supervisor的ZooKeeper心跳超时时,认为当前Slot依 阅读全文
posted @ 2017-07-26 14:38 脑机接口 阅读(323) 评论(0) 推荐(0)
摘要:Nimbus里的数据结构,比如nimbus-data 阅读全文
posted @ 2017-07-25 21:49 脑机接口 阅读(844) 评论(0) 推荐(0)