会飞的纸盒

摘要： Scheduler-调度器之EventScheduler 阅读全文

摘要： Nimbus启动过程 （mk-assignments 、compute-new-topology->executor->node+port、compute-executor） 阅读全文

摘要： Topology提交校验过程[submitTopology、normalize-topology、system-topology] 阅读全文

摘要： 提交示例代码： 1 publicstaticvoidmain(String[]args)throwsException{ 2 TopologyBuilderbuilder=newTopologyBuilder(); ... 阅读全文

摘要： 在Storm的集群里面有两种节点：控制节点和工作节点,控制节点上面运行Nimbus进程，Nimbus负责在集群里面分配计算任务，并且监控状态。每一个工作节点上面运行Supervisor进程,Supervisor负责监听从Nimbus分配给它执行的任务，Nimbus和Supervisor之间的所有协调工作都是通过Zookeeper集群完成。 Storm集群结构图 Topolo... 阅读全文

摘要： Esper介绍 Esper是一个Java开发并且开源的轻量级和可扩展的事件流处理和复合事件处理引擎,并提供了定制的事件处理语言(EPL)。 应用场景 某个用户在请求登录服务时，n秒内连续m次未登录成功，可视为该ip在暴力破解密码。又或者：用户在页面上的操作间隔超过n秒即认为该用户已关闭该网页。也许上面的几个例子不够好或者已经有别的方式实现，但是Esper确实能够将其抽象成多个关联的事件... 阅读全文

摘要： 访问修饰符 格式：private[x]或protected[x]，x指某个所属包、类或单例对象，表示被修饰的类（或方法、单例对象），在X域中公开，在x域范围内都可以访问； private[包名]:在该包名作用域内，被修饰域都能被访问； private[类名]:在该类的作用域，被修饰域都能被访问； private[this]:仅能在包含了定义的同一对象中访问，用于保证同一类中不能被其它对象访... 阅读全文

摘要： 安装前说明： 必须先安装zookeeper集群 该Storm集群由三台机器构成，主机名分别为chenx01,chenx02,chenx03,对应的IP分别为192.168.1.110,192.168.1.111,192.168.1.112,其中chenx01为MAST 1、修改主机名 vim /etc/sysconfig/network NETWORKING=yes ... 阅读全文

摘要： Kafka中Replicas复制备份机制 kafka将每个partition数据复制到多个server上,任何一个partition有一个leader和多个follower(可以没有)，备份的个数可以通过broker配置文件来设定(replication-factor的参数配置指定).leader处理所有的read-write请求,follower需要和leader保持同步.Follower和c... 阅读全文

摘要： 单机模式 修改kafak安装文件中 .../kafka_2.9.2-0.8.1.1/config 下面的server.properties 配置文件 1、broker.id=0 [默认不用修改,该值在集群中需要唯一] 2、log.dirs=/opt/hadoop/kafka/kafka-logs [kafka数据的存放地址，多个地址的话用逗号分割] 3、z... 阅读全文