摘要：
The core data model in Trident is the "Stream", processed as a series of batches. A stream is partitioned among the nodes in the cluster, and operatio 阅读全文
posted @ 2019-04-28 20:58
技术研究与问题解决
阅读(266)
评论(0)
推荐(0)
摘要：
转自：http://blog.csdn.net/derekjiang/article/details/9126185 英文原址：https://github.com/nathanmarz/storm/wiki/Trident-tutorial Trident是在storm基础上，一个以realtim 阅读全文
posted @ 2019-04-28 20:57
技术研究与问题解决
阅读(359)
评论(0)
推荐(0)
摘要：
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/756/twitter-storm-drpc/ 本文翻译自： https://github.com/nathanmarz/storm 阅读全文
posted @ 2019-04-28 20:56
技术研究与问题解决
阅读(281)
评论(0)
推荐(0)
摘要：
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/736/twitter-storm-transactional-topolgoy/ 本文翻译自: https://github.co 阅读全文
posted @ 2019-04-28 20:55
技术研究与问题解决
阅读(170)
评论(0)
推荐(0)
摘要：
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/811/twitter-storm-code-analysis-coordinated-bolt/ 关于Twitter Storm的 阅读全文
posted @ 2019-04-28 20:55
技术研究与问题解决
阅读(131)
评论(0)
推荐(0)
摘要：
流聚合（stream join）是指将具有共同元组（tuple）字段的数据流（两个或者多个）聚合形成一个新的数据流的过程。 从定义上看，流聚合和SQL中表的聚合（table join）很像，但是二者有明显的区别：table join的输入是有限的，并且join的语义是非常明确的；而流聚合的语义是不明 阅读全文
posted @ 2019-04-28 20:54
技术研究与问题解决
阅读(453)
评论(0)
推荐(0)
摘要：
一、本地环境log级别设置问题 storm-core-1.1.0.jar下面有个log4j2.xml文件，默认log级别是info。 可以maven工程main/resources下面新建一个log4j2.xml文件，调整log级别。 二、IRichBolt和IBasicBolt/BaseBasic 阅读全文
posted @ 2019-04-28 20:53
技术研究与问题解决
阅读(265)
评论(0)
推荐(0)
摘要：
转自http://blog.csdn.net/zhangzhebjut/article/details/38467145 一 可靠性简介 Storm的可靠性是指Storm会告知用户每一个消息单元是否在一个指定的时间(timeout)内被完全处理。完全处理的意思是该MessageId绑定的源Tuple 阅读全文
posted @ 2019-04-28 20:52
技术研究与问题解决
阅读(239)
评论(0)
推荐(0)
摘要：
一、关联代码 使用maven，代码如下。 pom.xml 参考 http://www.cnblogs.com/hd3013779515/p/6970551.html MessageTopology.java package cn.ljh.storm.reliability; import org.a 阅读全文
posted @ 2019-04-28 20:52
技术研究与问题解决
阅读(231)
评论(0)
推荐(0)
摘要：
转自：http://xumingming.sinaapp.com/127/twitter-storm如何保证消息不丢失/ storm保证从spout发出的每个tuple都会被完全处理。这篇文章介绍storm是怎么做到这个保证的，以及我们使用者怎么做才能充分利用storm的可靠性特点。 一个tuple 阅读全文
posted @ 2019-04-28 20:51
技术研究与问题解决
阅读(245)
评论(0)
推荐(0)
摘要：
一、关联代码 使用maven，代码如下。 pom.xml 和Storm入门（三）HelloWorld示例相同 RandomSentenceSpout.java /** * Licensed to the Apache Software Foundation (ASF) under one * or 阅读全文
posted @ 2019-04-28 20:49
技术研究与问题解决
阅读(263)
评论(0)
推荐(0)
摘要：
一、配置开发环境 storm有两种操作模式: 本地模式和远程模式。使用本地模式的时候，你可以在你的本地机器上开发测试你的topology， 一切都在你的本地机器上模拟出来; 用远程模式的时候你提交的topology会在一个集群的机器上执行。 建议使用maven，只需要加上storm的依赖就可以了。 阅读全文
posted @ 2019-04-28 20:48
技术研究与问题解决
阅读(382)
评论(0)
推荐(0)
摘要：
1.集群规划 storm版本的变更：storm0.9.x storm0.10.x storm1.x上面这些版本里面storm的核心源码是由Java+clojule组成的。storm2.x后期这个版本就是全部用java重写了。（阿里在很早的时候就对storm进行了重写，提供了jstorm，后期jsto 阅读全文
posted @ 2019-04-28 20:47
技术研究与问题解决
阅读(327)
评论(0)
推荐(0)
摘要：
问题导读：1.hadoop有master与slave，Storm与之对应的节点是什么？2.Storm控制节点上面运行一个后台程序被称之为什么？3.Supervisor的作用是什么？4.Topology与Worker之间的关系是什么？5.Nimbus和Supervisor之间的所有协调工作有maste 阅读全文
posted @ 2019-04-28 20:46
技术研究与问题解决
阅读(3436)
评论(0)
推荐(0)
摘要：
其实原理简单来说，就是要选举leader，会生成一个zxid，然后分发给所有的server（所以这里一台server可以接受多台server给他发送要选举leader的请求），然后各个server根据发送给自己的zxid，选择一个值最大的，然后将这个选择返回给发送这个zxid的server，只要这个 阅读全文
posted @ 2019-04-28 16:31
技术研究与问题解决
阅读(220)
评论(0)
推荐(0)
摘要：
https://baike.baidu.com/item/zookeeper/4836397?fr=aladdin ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务 阅读全文
posted @ 2019-04-28 16:01
技术研究与问题解决
阅读(210)
评论(0)
推荐(0)
浙公网安备 33010602011771号