摘要：
概念，见博客 Storm概念学习系列之storm的定时任务 Storm的定时任务，分为两种实现方式，都是可以达到目的的。 我这里，分为StormTopologyTimer1.java 和 StormTopologyTimer2.java 编写代码StormTopologyTimer1.java 我这 阅读全文
posted @ 2017-07-28 15:10
大数据和AI躺过的坑
阅读(1455)
评论(0)
推荐(0)
摘要：
不多说，直接上干货！ 至于为什么，有storm的定时任务。这个很简单。但是，这个在工作中非常重要！ 假设有如下的业务场景 这个spoult源源不断地发送数据，boilt呢会进行处理。然后呢，处理后的结果，假设要写到mysql里面。 假设，spout有几十万条，这么过来。写入到bolt，意味着，它一秒 阅读全文
posted @ 2017-07-28 14:10
大数据和AI躺过的坑
阅读(674)
评论(0)
推荐(0)
摘要：
概念，见博客 Storm概念学习系列之storm的可靠性 什么业务场景需要storm可靠性的ACK确认机制？ 答：想要保住数据不丢，或者保住数据总是被处理。即若没被处理的，得让我们知道。 编写代码 StormTopologyAcker.java 停掉，我们复制粘贴来分析分析 ok! 阅读全文
posted @ 2017-07-28 13:55
大数据和AI躺过的坑
阅读(1835)
评论(0)
推荐(0)
摘要：
这个概念，对于理解storm很有必要。 1、worker进程死掉 worker是真实存在的。可以jps查看。 正是因为有了storm的可靠性，所以storm会重新启动一个新的worker进程。 2、supervisor进程死掉 不会影响之前已经提交的topology的执行，只是后期不能再想这个节点分 阅读全文
posted @ 2017-07-28 13:35
大数据和AI躺过的坑
阅读(357)
评论(0)
推荐(0)
摘要：
概念，见博客 Storm概念学习系列之stream grouping（流分组） Storm的stream grouping的Shuffle Grouping 它是随机分组，随机派发stream里面的tuple，保证polt的每个人物接收到的tuple数目相同。（它能实现较好的负载均衡） 如果工作中没 阅读全文
posted @ 2017-07-28 09:58
大数据和AI躺过的坑
阅读(3160)
评论(0)
推荐(0)
浙公网安备 33010602011771号