摘要：
不多说，直接上干货！ 前期博客 基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8、0.9和0.10以后版本)（图文详解） 问题详情 我在Kafka-manager启动时出现 解决办法 若大家，还不会建立软连接，则见我下面的博客 大数据各子项目的环 阅读全文
posted @ 2017-07-28 21:26
大数据和AI躺过的坑
阅读(1674)
评论(0)
推荐(0)
摘要：
前期博客 基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8、0.9和0.10以后版本)（图文详解） 基于Web的Kafka管理器工具之Kafka-manager启动时出现Exception in thread "main" java.lang.U 阅读全文
posted @ 2017-07-28 21:21
大数据和AI躺过的坑
阅读(5668)
评论(0)
推荐(0)
摘要：
不多说，直接上干货！ 至于为什么，要写这篇博客以及安装Kafka-manager？ 问题详情 无奈于，在kafka里没有一个较好自带的web ui。启动后无法观看，并且不友好。所以，需安装一个第三方的kafka管理工具 功能 为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫 阅读全文
posted @ 2017-07-28 20:32
大数据和AI躺过的坑
阅读(8017)
评论(3)
推荐(1)
摘要：
不多说，直接上干货！ Storm的雪崩问题的解决办法1： Storm概念学习系列之并行度与如何提高storm的并行度 Storm的雪崩问题的解决办法2: 阅读全文
posted @ 2017-07-28 15:44
大数据和AI躺过的坑
阅读(722)
评论(0)
推荐(0)
摘要：
不多说，直接上干货！ 阅读全文
posted @ 2017-07-28 15:36
大数据和AI躺过的坑
阅读(425)
评论(0)
推荐(0)
摘要：
不多说，直接上干货！ 以下都是非常重要的storm概念知识。 （Tuple元组数据载体 、Spout数据源、Blot消息处理者、Stream消息流 和 Stream Grouping 消息流组、Worker工作者进程、Task是最终运行spout或bolt中代码的执行单元、executor是work 阅读全文
posted @ 2017-07-28 15:34
大数据和AI躺过的坑
阅读(461)
评论(0)
推荐(0)
摘要：
概念，见博客 Storm概念学习系列之storm的定时任务 Storm的定时任务，分为两种实现方式，都是可以达到目的的。 我这里，分为StormTopologyTimer1.java 和 StormTopologyTimer2.java 编写代码StormTopologyTimer1.java 我这 阅读全文
posted @ 2017-07-28 15:10
大数据和AI躺过的坑
阅读(1455)
评论(0)
推荐(0)
摘要：
不多说，直接上干货！ 至于为什么，有storm的定时任务。这个很简单。但是，这个在工作中非常重要！ 假设有如下的业务场景 这个spoult源源不断地发送数据，boilt呢会进行处理。然后呢，处理后的结果，假设要写到mysql里面。 假设，spout有几十万条，这么过来。写入到bolt，意味着，它一秒 阅读全文
posted @ 2017-07-28 14:10
大数据和AI躺过的坑
阅读(674)
评论(0)
推荐(0)
摘要：
概念，见博客 Storm概念学习系列之storm的可靠性 什么业务场景需要storm可靠性的ACK确认机制？ 答：想要保住数据不丢，或者保住数据总是被处理。即若没被处理的，得让我们知道。 编写代码 StormTopologyAcker.java 停掉，我们复制粘贴来分析分析 ok! 阅读全文
posted @ 2017-07-28 13:55
大数据和AI躺过的坑
阅读(1835)
评论(0)
推荐(0)
摘要：
这个概念，对于理解storm很有必要。 1、worker进程死掉 worker是真实存在的。可以jps查看。 正是因为有了storm的可靠性，所以storm会重新启动一个新的worker进程。 2、supervisor进程死掉 不会影响之前已经提交的topology的执行，只是后期不能再想这个节点分 阅读全文
posted @ 2017-07-28 13:35
大数据和AI躺过的坑
阅读(357)
评论(0)
推荐(0)
摘要：
概念，见博客 Storm概念学习系列之stream grouping（流分组） Storm的stream grouping的Shuffle Grouping 它是随机分组，随机派发stream里面的tuple，保证polt的每个人物接收到的tuple数目相同。（它能实现较好的负载均衡） 如果工作中没 阅读全文
posted @ 2017-07-28 09:58
大数据和AI躺过的坑
阅读(3160)
评论(0)
推荐(0)
浙公网安备 33010602011771号