随笔分类 -  Storm

Storm ACK机制详解
摘要：消息不丢失机制ack ack是什么 ack 机制是storm整个技术体系中非常闪亮的一个创新点。 通过Ack机制，spout发送出去的每一条消息，都可以确定是被成功处理或失败处理， 从而可以让开发者采取动作。 比如在Meta中，成功被处理，即可更新偏移量，当失败时，重复发送数据。 因此，通过Ack机 阅读全文
posted @ 2019-05-22 22:54 Transkai 阅读(1472) 评论(0) 推荐(0)
Strom 与mysql整合+与hdfs整合
摘要：Storm 与mysql整合 代码目录结构如下： Storm 与hdfs整合 代码目录结构如下： 效果图如下： 阅读全文
posted @ 2019-05-22 22:47 Transkai 阅读(380) 评论(0) 推荐(0)
Storm 分发策略+与Kafka集成
摘要：Storm的分发策略 Storm当中的分组策略，一共有八种： 所谓的grouping策略就是在Spout与Bolt、Bolt与Bolt之间传递Tuple的方式。总共有八种方式： 1）shuffleGrouping（随机分组）随机分组；将tuple随机分配到bolt中，能够保证各task中处理的数据均 阅读全文
posted @ 2019-05-22 00:20 Transkai 阅读(891) 评论(0) 推荐(0)
Storm 并行度详解
摘要：Storm并行度相关的概念 worker进程1个worker进程执行的是1个topology的子集（注：不会出现1个worker为多个topology服务）。1个worker进程会启动1个或多个executor线程来执行1个topology的component(spout或bolt)。因此，1个运行 阅读全文
posted @ 2019-05-21 17:32 Transkai 阅读(572) 评论(0) 推荐(0)
Storm 编程实例一：生成及接收数据+实例二：wordcount
摘要：实例一：生成及接收数据 程序结构如下 DataSpout import org.apache.storm.spout.SpoutOutputCollector;import org.apache.storm.task.TopologyContext;import org.apache.storm.t 阅读全文
posted @ 2019-05-19 23:58 Transkai 阅读(567) 评论(0) 推荐(1)
Storm 核心组件详解及storm编程核心Api
摘要：storm编程模型TopologiesStreamsSpoutsBolts Storm核心组件 TopologiesStreamsSpoutsBoltsStream groupingsReliabilityTasksWorkers 具体介绍如下： topology 是storm中运行的一个实时应用程 阅读全文
posted @ 2019-05-19 22:36 Transkai 阅读(794) 评论(0) 推荐(1)
Storm 安装及搭建集群环境
摘要：搭建storm的集群环境 官方下载地址址：http://storm.apache.org/注意：本博主使用版本 Storm 1.1.3 Released a) 在hadoop-001主机解压apache-storm-1.1.3 tar -zxvf apache-storm-1.1.3.tar.gz 阅读全文
posted @ 2019-05-17 22:42 Transkai 阅读(449) 评论(0) 推荐(1)
Storm 简介及其框架概念
摘要：Storm框架 Apache Storm is a free and open source distributed realtime computation system它是分布式实时计算处理系统Storm makes it easy to reliably process unbounded s 阅读全文
posted @ 2019-05-17 22:23 Transkai 阅读(3256) 评论(0) 推荐(1)