静候东风

摘要： 一、关联代码 使用maven，代码如下。 pom.xml 和Storm入门（三）HelloWorld示例相同 RandomSentenceSpout.java /** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the N... 阅读全文

摘要： 一、配置开发环境 storm有两种操作模式: 本地模式和远程模式。使用本地模式的时候，你可以在你的本地机器上开发测试你的topology， 一切都在你的本地机器上模拟出来; 用远程模式的时候你提交的topology会在一个集群的机器上执行。 建议使用maven，只需要加上storm的依赖就可以了。 阅读全文

摘要： 问题导读：1.hadoop有master与slave，Storm与之对应的节点是什么？2.Storm控制节点上面运行一个后台程序被称之为什么？3.Supervisor的作用是什么？4.Topology与Worker之间的关系是什么？5.Nimbus和Supervisor之间的所有协调工作有maste 阅读全文

摘要： 1.集群规划 storm版本的变更：storm0.9.x storm0.10.x storm1.x上面这些版本里面storm的核心源码是由Java+clojule组成的。storm2.x后期这个版本就是全部用java重写了。（阿里在很早的时候就对storm进行了重写，提供了jstorm，后期jsto 阅读全文

摘要： 一、入门 1.简介 Apache Kafka是一个分布式消息发布订阅系统。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log)，之后成为Apache项目的一部分。Kafka系统快速、可扩展并且可持久化。分区，可复制和可容错都是其不错的特性。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。 ... 阅读全文

摘要： 1.使用Producer API发送消息到Kafka 从版本0.9开始被KafkaProducer替代。 HelloWorldProducer.java SimplePartitioner.java 2.使用Kafka High Level Consumer API接收消息 ConsumerGrou 阅读全文

摘要： 使用0.9开始增加的KafkaProducer和KafkaConsumer。 Pom.xml HelloWorldProducer2.java SimplePartitioner2.java HelloWorldConsumer2.java 阅读全文

摘要： 往kafka集群发送消息时，报错如下： page_visits-1: 30005 ms has passed since batch creation plus linger time 加入log4j.properties，设置为DEBUG级别，错误如下： 2017-06-03 17:33:31,4 阅读全文

摘要： 功能 为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也是一个非常好的可以快速浏览这个集群的工具，有如下功能： 管... 阅读全文

摘要： 一、准备工作 centos6.8和jvm需要准备64位的，如果为32位，服务启动的时候报java.lang.OutOfMemoryError: Map failed 的错误。 链接：http://pan.baidu.com/s/1pLbj8T1 密码：f4h0 centos6.8 64位 jdk-8 阅读全文