随笔分类 -  Apache Kafka

摘要:Flink 读写Kafka 在Flink中,我们分别用Source Connectors代表连接数据源的连接器,用Sink Connector代表连接数据输出的连接器。下面我们介绍一下Flink中用于读写kafka的source & sink connector。 Apache Kafka Sour 阅读全文
posted @ 2019-11-10 09:00 ZacksTang 阅读(15617) 评论(1) 推荐(0)
摘要:Log Cleanup 策略 在Kafka中,存在数据过期的机制,称为data expire。如何处理过期数据是根据指定的policy(策略)决定的,而处理过期数据的行为,即为log cleanup。 在Kafka中有以下几种处理过期数据的策略: · log.cleanup.policy=delet 阅读全文
posted @ 2019-10-08 21:44 ZacksTang 阅读(6347) 评论(0) 推荐(0)
摘要:Topic 的配置与组成 之前我们仅主要介绍了Kafka Producer与Kafka Consumer 的相关配置,而未详细介绍过有关topic的配置。Topic的配置在Kafka 使用中也至关重要,因为它的参数足以影响集群性能以及topic 的行为。 在一个topic被创建后,会有它默认的参数, 阅读全文
posted @ 2019-10-06 17:56 ZacksTang 阅读(1203) 评论(0) 推荐(0)
摘要:Partitions与Replication Factor调整准则 Partition 数目与Replication Factor是在创建一个topic时非常重要的两个参数,这两个参数的取值会直接影响到系统的性能与稳定性。 尽量在第一次创建一个topic时就指定这两个参数,因为 如果Partitio 阅读全文
posted @ 2019-09-16 10:16 ZacksTang 阅读(7567) 评论(0) 推荐(2)
摘要:1. Kafka Stream Introduction 假设我们需要对kafka 消息做流数据分析,例如: 对部分消息做过滤 每分钟计算一次收到了多少消息 这种情况下,对于消息过滤以及定时统计,甚至是进行流的合并,是几个基本的流式处理。但是在这种情况下,仅使用Kafka Producer 与 Co 阅读全文
posted @ 2019-09-15 14:11 ZacksTang 阅读(2808) 评论(0) 推荐(0)
摘要:1. Poll Messages 在Kafka Consumer 中消费messages时,使用的是poll模型,也就是主动去Kafka端取数据。其他消息管道也有的是push模型,也就是服务端向consumer推送数据,consumer仅需等待即可。 Kafka Consumer的poll模型使得c 阅读全文
posted @ 2019-09-12 21:14 ZacksTang 阅读(5714) 评论(0) 推荐(0)
摘要:Kafka Delivery Semantics 在Kafka Consumer中,有3种delivery semantics,分别为:至多一次(at most once)、至少一次(at least once)、以及准确一次(exactly once),下面我们分别介绍这3种Delivery 语义 阅读全文
posted @ 2019-08-29 10:08 ZacksTang 阅读(555) 评论(0) 推荐(0)
摘要:Kafka ElasticSearch Consumer 对于Kafka Consumer,我们会写一个例子用于消费Kafka 数据传输到ElasticSearch。 1. 构造ElasticSearch 基本代码 我们使用如下代码构造一个 Elastic Search Client,并向 ES写入 阅读全文
posted @ 2019-08-29 10:04 ZacksTang 阅读(437) 评论(0) 推荐(0)
摘要:High Throughput Producer 在有大量消息需要发送的情况下,默认的Kafka Producer配置可能无法达到一个可观的的吞吐。在这种情况下,我们可以考虑调整两个方面,以提高Producer 的吞吐。分别为消息压缩(message compression),以及消息批量发送(ba 阅读全文
posted @ 2019-08-28 11:22 ZacksTang 阅读(745) 评论(0) 推荐(0)
摘要:Kafka Safe Producer 在应用Kafka的场景中,需要考虑到在异常发生时(如网络异常),被发送的消息有可能会出现丢失、乱序、以及重复消息。 对于这些情况,我们可以创建一个“safe producer”,用于规避这些问题。下面我们会先介绍对于这几种情况的说明以及配置,最后给出一个配置示 阅读全文
posted @ 2019-08-25 19:53 ZacksTang 阅读(831) 评论(0) 推荐(0)
摘要:1. Produer 1.1. 基本 Producer 首先使用 maven 构建相关依赖,这里我们服务器kafka 版本为 2.12-2.3.0,pom.xml 文件为: 1 <?xml version="1.0" encoding="UTF-8"?> 2 <project xmlns="http 阅读全文
posted @ 2019-08-11 18:28 ZacksTang 阅读(1734) 评论(0) 推荐(0)
摘要:1. Topics CLI 1.1 首先启动 zookeeper 与 kafka > zookeeper-server-start.sh config/zookeeper.properties … INFO binding to port 0.0.0.0/0.0.0.0:2181 (org.apac 阅读全文
posted @ 2019-08-11 11:54 ZacksTang 阅读(1760) 评论(0) 推荐(0)
摘要:安装并启动Kafka 1.下载最新版Kafka(当前为kafka_2.12-2.3.0)并解压: > wget http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz > tar zxvf kafka_2.12-2.3.0.t 阅读全文
posted @ 2019-08-06 18:29 ZacksTang 阅读(397) 评论(0) 推荐(0)
摘要:Apache Kafka 1. Kafka简介、优势、以及使用场景 Kafka的优势: 开源 分布式,弹性架构,fault tolerant 水平扩展: 可以扩展到100个brokers 可以扩展到每秒百万级条消息 高性能(延迟少于10ms)-- 实时 使用场景: 消息系统 活动追踪(Activit 阅读全文
posted @ 2019-08-06 17:45 ZacksTang 阅读(728) 评论(1) 推荐(0)
摘要:1. 启动Kafka Server bin/kafka-server-start.sh config/server.properties & 2. 创建一个新topic bin/kafka-topics.sh --create --zookeeper xxxx --replication-facto 阅读全文
posted @ 2019-01-24 00:15 ZacksTang 阅读(7596) 评论(2) 推荐(0)