随笔分类 -  Apache Kafka

Flink读写Kafka
摘要：Flink 读写Kafka 在Flink中，我们分别用Source Connectors代表连接数据源的连接器，用Sink Connector代表连接数据输出的连接器。下面我们介绍一下Flink中用于读写kafka的source & sink connector。 Apache Kafka Sour 阅读全文
posted @ 2019-11-10 09:00 ZacksTang 阅读(15617) 评论(1) 推荐(0)
Apache Kafka（十二）Log Cleanup 策略
摘要：Log Cleanup 策略 在Kafka中，存在数据过期的机制，称为data expire。如何处理过期数据是根据指定的policy（策略）决定的，而处理过期数据的行为，即为log cleanup。 在Kafka中有以下几种处理过期数据的策略： · log.cleanup.policy=delet 阅读全文
posted @ 2019-10-08 21:44 ZacksTang 阅读(6346) 评论(0) 推荐(0)
Apache Kafka（十一）Topic 的配置与组成
摘要：Topic 的配置与组成 之前我们仅主要介绍了Kafka Producer与Kafka Consumer 的相关配置，而未详细介绍过有关topic的配置。Topic的配置在Kafka 使用中也至关重要，因为它的参数足以影响集群性能以及topic 的行为。 在一个topic被创建后，会有它默认的参数， 阅读全文
posted @ 2019-10-06 17:56 ZacksTang 阅读(1203) 评论(0) 推荐(0)
Apache Kafka（十）Partitions与Replication Factor 调整准则
摘要：Partitions与Replication Factor调整准则 Partition 数目与Replication Factor是在创建一个topic时非常重要的两个参数，这两个参数的取值会直接影响到系统的性能与稳定性。 尽量在第一次创建一个topic时就指定这两个参数，因为 如果Partitio 阅读全文
posted @ 2019-09-16 10:16 ZacksTang 阅读(7567) 评论(0) 推荐(2)
Kafka Stream 以及其他流处理框架对比
摘要：1. Kafka Stream Introduction 假设我们需要对kafka 消息做流数据分析，例如： 对部分消息做过滤 每分钟计算一次收到了多少消息 这种情况下，对于消息过滤以及定时统计，甚至是进行流的合并，是几个基本的流式处理。但是在这种情况下，仅使用Kafka Producer 与 Co 阅读全文
posted @ 2019-09-15 14:11 ZacksTang 阅读(2808) 评论(0) 推荐(0)
Apache Kafka（九）- Kafka Consumer 消费行为
摘要：1. Poll Messages 在Kafka Consumer 中消费messages时，使用的是poll模型，也就是主动去Kafka端取数据。其他消息管道也有的是push模型，也就是服务端向consumer推送数据，consumer仅需等待即可。 Kafka Consumer的poll模型使得c 阅读全文
posted @ 2019-09-12 21:14 ZacksTang 阅读(5712) 评论(0) 推荐(0)
Apache Kafka（八）- Kafka Delivery Semantics for Consumers
摘要：Kafka Delivery Semantics 在Kafka Consumer中，有3种delivery semantics，分别为：至多一次（at most once）、至少一次（at least once）、以及准确一次（exactly once），下面我们分别介绍这3种Delivery 语义 阅读全文
posted @ 2019-08-29 10:08 ZacksTang 阅读(555) 评论(0) 推荐(0)
Apache Kafka（七）- Kafka ElasticSearch Comsumer
摘要：Kafka ElasticSearch Consumer 对于Kafka Consumer，我们会写一个例子用于消费Kafka 数据传输到ElasticSearch。 1. 构造ElasticSearch 基本代码 我们使用如下代码构造一个 Elastic Search Client，并向 ES写入 阅读全文
posted @ 2019-08-29 10:04 ZacksTang 阅读(436) 评论(0) 推荐(0)
Apache Kafka（六）- High Throughput Producer
摘要：High Throughput Producer 在有大量消息需要发送的情况下，默认的Kafka Producer配置可能无法达到一个可观的的吞吐。在这种情况下，我们可以考虑调整两个方面，以提高Producer 的吞吐。分别为消息压缩（message compression），以及消息批量发送（ba 阅读全文
posted @ 2019-08-28 11:22 ZacksTang 阅读(745) 评论(0) 推荐(0)
Apache Kafka（五）- Safe Kafka Producer
摘要：Kafka Safe Producer 在应用Kafka的场景中，需要考虑到在异常发生时（如网络异常），被发送的消息有可能会出现丢失、乱序、以及重复消息。 对于这些情况，我们可以创建一个“safe producer”，用于规避这些问题。下面我们会先介绍对于这几种情况的说明以及配置，最后给出一个配置示 阅读全文
posted @ 2019-08-25 19:53 ZacksTang 阅读(831) 评论(0) 推荐(0)
Apache Kafka（四）- 使用 Java 访问 Kafka
摘要：1. Produer 1.1. 基本 Producer 首先使用 maven 构建相关依赖，这里我们服务器kafka 版本为 2.12-2.3.0，pom.xml 文件为： 1 <?xml version="1.0" encoding="UTF-8"?> 2 <project xmlns="http 阅读全文
posted @ 2019-08-11 18:28 ZacksTang 阅读(1734) 评论(0) 推荐(0)
Apache Kafka（三）- Kakfa CLI 使用
摘要：1. Topics CLI 1.1 首先启动 zookeeper 与 kafka > zookeeper-server-start.sh config/zookeeper.properties … INFO binding to port 0.0.0.0/0.0.0.0:2181 (org.apac 阅读全文
posted @ 2019-08-11 11:54 ZacksTang 阅读(1760) 评论(0) 推荐(0)
Apache Kafka（二）- Kakfa 安装与启动
摘要：安装并启动Kafka 1.下载最新版Kafka（当前为kafka_2.12-2.3.0）并解压： > wget http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz > tar zxvf kafka_2.12-2.3.0.t 阅读全文
posted @ 2019-08-06 18:29 ZacksTang 阅读(396) 评论(0) 推荐(0)
Apache Kafka（一）- Kakfa 简介与术语
摘要：Apache Kafka 1. Kafka简介、优势、以及使用场景 Kafka的优势： 开源 分布式，弹性架构，fault tolerant 水平扩展： 可以扩展到100个brokers 可以扩展到每秒百万级条消息 高性能（延迟少于10ms）-- 实时 使用场景： 消息系统 活动追踪（Activit 阅读全文
posted @ 2019-08-06 17:45 ZacksTang 阅读(728) 评论(1) 推荐(0)
Kafka+OpenCV 实现实时流视频处理
摘要：1. 启动Kafka Server bin/kafka-server-start.sh config/server.properties & 2. 创建一个新topic bin/kafka-topics.sh --create --zookeeper xxxx --replication-facto 阅读全文
posted @ 2019-01-24 00:15 ZacksTang 阅读(7596) 评论(2) 推荐(0)