ZacksTang

摘要： Partitions与Replication Factor调整准则 Partition 数目与Replication Factor是在创建一个topic时非常重要的两个参数，这两个参数的取值会直接影响到系统的性能与稳定性。 尽量在第一次创建一个topic时就指定这两个参数，因为 如果Partitio 阅读全文

摘要： 1. Kafka Stream Introduction 假设我们需要对kafka 消息做流数据分析，例如： 对部分消息做过滤 每分钟计算一次收到了多少消息 这种情况下，对于消息过滤以及定时统计，甚至是进行流的合并，是几个基本的流式处理。但是在这种情况下，仅使用Kafka Producer 与 Co 阅读全文

摘要： 1. Poll Messages 在Kafka Consumer 中消费messages时，使用的是poll模型，也就是主动去Kafka端取数据。其他消息管道也有的是push模型，也就是服务端向consumer推送数据，consumer仅需等待即可。 Kafka Consumer的poll模型使得c 阅读全文

摘要： Hive on Tez Mapper 数量计算 在Hive 中执行一个query时，我们可以发现Hive 的执行引擎在使用 Tez 与 MR时，两者生成mapper数量差异较大。 主要原因在于 Tez 中对 inputSplit 做了 grouping 操作，将多个 inputSplit 组合成更少 阅读全文

摘要： Kafka Delivery Semantics 在Kafka Consumer中，有3种delivery semantics，分别为：至多一次（at most once）、至少一次（at least once）、以及准确一次（exactly once），下面我们分别介绍这3种Delivery 语义 阅读全文

摘要： Kafka ElasticSearch Consumer 对于Kafka Consumer，我们会写一个例子用于消费Kafka 数据传输到ElasticSearch。 1. 构造ElasticSearch 基本代码 我们使用如下代码构造一个 Elastic Search Client，并向 ES写入 阅读全文

摘要： High Throughput Producer 在有大量消息需要发送的情况下，默认的Kafka Producer配置可能无法达到一个可观的的吞吐。在这种情况下，我们可以考虑调整两个方面，以提高Producer 的吞吐。分别为消息压缩（message compression），以及消息批量发送（ba 阅读全文

摘要： Kafka Safe Producer 在应用Kafka的场景中，需要考虑到在异常发生时（如网络异常），被发送的消息有可能会出现丢失、乱序、以及重复消息。 对于这些情况，我们可以创建一个“safe producer”，用于规避这些问题。下面我们会先介绍对于这几种情况的说明以及配置，最后给出一个配置示 阅读全文

摘要： 1. Produer 1.1. 基本 Producer 首先使用 maven 构建相关依赖，这里我们服务器kafka 版本为 2.12-2.3.0，pom.xml 文件为： 1 <?xml version="1.0" encoding="UTF-8"?> 2 <project xmlns="http 阅读全文

摘要： 1. Topics CLI 1.1 首先启动 zookeeper 与 kafka > zookeeper-server-start.sh config/zookeeper.properties … INFO binding to port 0.0.0.0/0.0.0.0:2181 (org.apac 阅读全文