06 2017 档案

Storm入门（十四）Trident API Overview
摘要：The core data model in Trident is the "Stream", processed as a series of batches. A stream is partitioned among the nodes in the cluster, and operatio 阅读全文
posted @ 2017-06-14 11:20 静候东风 阅读(418) 评论(0) 推荐(0)
Storm入门（十三）Storm Trident 教程
摘要：转自：http://blog.csdn.net/derekjiang/article/details/9126185 英文原址：https://github.com/nathanmarz/storm/wiki/Trident-tutorial Trident是在storm基础上，一个以realtim 阅读全文
posted @ 2017-06-13 15:14 静候东风 阅读(809) 评论(0) 推荐(1)
Storm入门（十二）Twitter Storm: DRPC简介
摘要：作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/756/twitter-storm-drpc/ 本文翻译自： https://github.com/nathanmarz/storm 阅读全文
posted @ 2017-06-13 10:49 静候东风 阅读(2946) 评论(0) 推荐(0)
Storm入门（十一）Twitter Storm源代码分析之CoordinatedBolt
摘要：作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/811/twitter-storm-code-analysis-coordinated-bolt/ 关于Twitter Storm的 阅读全文
posted @ 2017-06-13 07:35 静候东风 阅读(365) 评论(0) 推荐(0)
Storm入门（十）Twitter Storm: Transactional Topolgoy简介
摘要：作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/736/twitter-storm-transactional-topolgoy/ 本文翻译自: https://github.co 阅读全文
posted @ 2017-06-13 07:34 静候东风 阅读(432) 评论(0) 推荐(0)
Storm入门（九）Storm常见模式之流聚合
摘要：流聚合（stream join）是指将具有共同元组（tuple）字段的数据流（两个或者多个）聚合形成一个新的数据流的过程。 从定义上看，流聚合和SQL中表的聚合（table join）很像，但是二者有明显的区别：table join的输入是有限的，并且join的语义是非常明确的；而流聚合的语义是不明 阅读全文
posted @ 2017-06-10 23:14 静候东风 阅读(804) 评论(0) 推荐(0)
Storm入门（八）Storm实战常见问题总结（持续更新）
摘要：一、本地环境log级别设置问题 storm-core-1.1.0.jar下面有个log4j2.xml文件，默认log级别是info。 可以maven工程main/resources下面新建一个log4j2.xml文件，调整log级别。 ... 阅读全文
posted @ 2017-06-09 23:02 静候东风 阅读(549) 评论(0) 推荐(0)
Storm入门（七）可靠性机制代码示例
摘要：一、关联代码 使用maven，代码如下。 pom.xml 参考 http://www.cnblogs.com/hd3013779515/p/6970551.html MessageTopology.java MessageSpou.java SpliterBolt.java WriterBolt.j 阅读全文
posted @ 2017-06-09 16:21 静候东风 阅读(618) 评论(0) 推荐(0)
Storm入门（五）Twitter Storm如何保证消息不丢失
摘要：转自：http://xumingming.sinaapp.com/127/twitter-storm如何保证消息不丢失/ storm保证从spout发出的每个tuple都会被完全处理。这篇文章介绍storm是怎么做到这个保证的，以及我们使用者怎么做才能充分利用storm的可靠性特点。 一个tuple 阅读全文
posted @ 2017-06-09 14:58 静候东风 阅读(634) 评论(0) 推荐(0)
Storm入门（六）深入理解可靠性机制
摘要：转自http://blog.csdn.net/zhangzhebjut/article/details/38467145 一 可靠性简介 Storm的可靠性是指Storm会告知用户每一个消息单元是否在一个指定的时间(timeout)内被完全处理。完全处理的意思是该MessageId绑定的源Tuple 阅读全文
posted @ 2017-06-09 14:56 静候东风 阅读(2234) 评论(0) 推荐(0)
Storm入门（四）WordCount示例
摘要：一、关联代码 使用maven，代码如下。 pom.xml 和Storm入门（三）HelloWorld示例相同 RandomSentenceSpout.java /** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the N... 阅读全文
posted @ 2017-06-09 09:55 静候东风 阅读(5566) 评论(0) 推荐(0)
Storm入门（三）HelloWorld示例
摘要：一、配置开发环境 storm有两种操作模式: 本地模式和远程模式。使用本地模式的时候，你可以在你的本地机器上开发测试你的topology， 一切都在你的本地机器上模拟出来; 用远程模式的时候你提交的topology会在一个集群的机器上执行。 建议使用maven，只需要加上storm的依赖就可以了。 阅读全文
posted @ 2017-06-08 23:26 静候东风 阅读(11030) 评论(1) 推荐(1)
Storm入门（一）原理介绍
摘要：问题导读：1.hadoop有master与slave，Storm与之对应的节点是什么？2.Storm控制节点上面运行一个后台程序被称之为什么？3.Supervisor的作用是什么？4.Topology与Worker之间的关系是什么？5.Nimbus和Supervisor之间的所有协调工作有maste 阅读全文
posted @ 2017-06-08 15:13 静候东风 阅读(2275) 评论(0) 推荐(1)
Storm入门（二）集群环境安装
摘要：1.集群规划 storm版本的变更：storm0.9.x storm0.10.x storm1.x上面这些版本里面storm的核心源码是由Java+clojule组成的。storm2.x后期这个版本就是全部用java重写了。（阿里在很早的时候就对storm进行了重写，提供了jstorm，后期jsto 阅读全文
posted @ 2017-06-08 09:51 静候东风 阅读(1003) 评论(0) 推荐(0)
Kafka设计原理
摘要：一、入门 1.简介 Apache Kafka是一个分布式消息发布订阅系统。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log)，之后成为Apache项目的一部分。Kafka系统快速、可扩展并且可持久化。分区，可复制和可容错都是其不错的特性。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。 ... 阅读全文
posted @ 2017-06-06 14:38 静候东风 阅读(1434) 评论(0) 推荐(0)
kafka的Java客户端示例代码(kafka_2.11-0.8.2.2)
摘要：1.使用Producer API发送消息到Kafka 从版本0.9开始被KafkaProducer替代。 HelloWorldProducer.java SimplePartitioner.java 2.使用Kafka High Level Consumer API接收消息 ConsumerGrou 阅读全文
posted @ 2017-06-04 00:36 静候东风 阅读(22471) 评论(0) 推荐(0)
kafka的Java客户端示例代码(kafka_2.12-0.10.2.1)
摘要：使用0.9开始增加的KafkaProducer和KafkaConsumer。 Pom.xml HelloWorldProducer2.java SimplePartitioner2.java HelloWorldConsumer2.java 阅读全文
posted @ 2017-06-04 00:30 静候东风 阅读(7997) 评论(0) 推荐(0)
Java客户端连接kafka集群报错
摘要：往kafka集群发送消息时，报错如下： page_visits-1: 30005 ms has passed since batch creation plus linger time 加入log4j.properties，设置为DEBUG级别，错误如下： 2017-06-03 17:33:31,4 阅读全文
posted @ 2017-06-03 18:05 静候东风 阅读(3428) 评论(0) 推荐(0)
kafka管理器之kafka-manager
摘要：功能 为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也是一个非常好的可以快速浏览这个集群的工具，有如下功能： 管... 阅读全文
posted @ 2017-06-02 22:03 静候东风 阅读(583) 评论(0) 推荐(0)
kafka集群环境搭建(Linux)
摘要：一、准备工作 centos6.8和jvm需要准备64位的，如果为32位，服务启动的时候报java.lang.OutOfMemoryError: Map failed 的错误。 链接：http://pan.baidu.com/s/1pLbj8T1 密码：f4h0 centos6.8 64位 jdk-8 阅读全文
posted @ 2017-06-02 17:54 静候东风 阅读(505) 评论(0) 推荐(0)
kafka服务无法启动的原因
摘要：kafka集群中一台服务器kill掉后再启动时报错。 java.io.IOException: Map failed Caused by: java.lang.OutOfMemoryError: Map failed 通过https://stackoverflow.com/questions/430 阅读全文
posted @ 2017-06-02 09:18 静候东风 阅读(20920) 评论(1) 推荐(0)