摘要：
前期博客 apache-storm-1.0.2.tar.gz的集群搭建（3节点）（图文详解）（非HA和HA） 启动storm集群（HA） 本博文情况是 master（主） nimbus slave1（主）（从） nimbus supervisor slave2（从） supervisor 1、先在m 阅读全文
posted @ 2017-07-27 21:27
大数据和AI躺过的坑
阅读(3265)
评论(0)
推荐(0)
摘要：
不多说，直接上干货！ 对于storm来说，并行度的概念非常重要！大家一定要好好理解和消化。 storm的并行度，可以简单的理解为多线程。 如何提高storm的并行度？ storm程序主要由spout和bolt组成的。spout和bolt在运行期间会生成task实例(new Spout或者new bo 阅读全文
posted @ 2017-07-27 21:13
大数据和AI躺过的坑
阅读(676)
评论(0)
推荐(0)
摘要：
把stream当做一列火车， tuple当做车厢，spout当做始发站，bolt当做是中间站点！！！ 见 Storm概念学习系列之Spout数据源 Storm概念学习系列之Topology拓扑 Storm概念学习系列之Blot消息处理者 Storm概念学习系列之Tuple元组 阅读全文
posted @ 2017-07-27 20:54
大数据和AI躺过的坑
阅读(653)
评论(0)
推荐(0)
摘要：
不多说，直接上干货！ 比如，我们给kafka的topic命名为user_r2p10 表示user这个topic的副本因子（r）是2，分区数（p）是10。 这样后期在写消费者代码的时候，根据topic名称就知道分区有多少个，可以很方便的设置多少个消费者线程。 比如，如下 前期博客，见 Kafka的3节 阅读全文
posted @ 2017-07-27 19:35
大数据和AI躺过的坑
阅读(13176)
评论(0)
推荐(0)
摘要：
简单点的，就是 kafka_2.11-0.8.2.2.tgz的3节点集群的下载、安装和配置（图文详解） 但是呢，大家在实际工作中，会一定要去牵扯到调参数和调优问题的。以下，是我给大家分享的kafka的server.properties配置文件参考示范。 master节点上 slave1上 slave 阅读全文
posted @ 2017-07-27 18:07
大数据和AI躺过的坑
阅读(16467)
评论(0)
推荐(0)
摘要：
kafka_2.10-0.8.1.1.tgz的1或3节点集群的下载、安装和配置（图文详细教程）绝对干货 一、安装前准备 1.1 示例机器 二、 JDK7 安装 1.1 下载地址 下载地址： http://www.oracle.com/technetwork/java/javase/downloads 阅读全文
posted @ 2017-07-27 17:43
大数据和AI躺过的坑
阅读(1234)
评论(0)
推荐(0)
摘要：
GC是内存的回收的意思。 Flume中的flume-env.sh配置调整建议 因为，我一般是喜欢用软连接，所以，这里的路径也是软连接jdk 所以 Flume中的log4j.properties配置调整建议 关于 log4j.properties的配置调整，可以进一步看 Flume自定义拦截器（Int 阅读全文
posted @ 2017-07-27 17:12
大数据和AI躺过的坑
阅读(3725)
评论(0)
推荐(0)
摘要：
不多说，直接上干货！ 一、自定义拦截器类型必须是：类全名$内部类名，其实就是内部类名称 如：zhouls.bigdata.MySearchAndReplaceInterceptor$Builder 二、为什么这样写 至于为什么这样写：是因为Interceptor接口还有一个 公共的内部接口（Buil 阅读全文
posted @ 2017-07-27 12:23
大数据和AI躺过的坑
阅读(12693)
评论(0)
推荐(4)
浙公网安备 33010602011771号