随笔分类 -  Kafka

Kafka 与 Flume
摘要：第 7 章 Kafka 与 Flume 7.1 Kafka 与 Flume 比较 在企业中必须要清楚流式数据采集框架 flume 和 kafka 的定位是什么： flume：cloudera 公司研发: 适合多个生产者； 适合下游数据消费者不多的情况； 适合数据安全性要求不高的操作； 适合与 Had 阅读全文
posted @ 2019-06-11 16:06 LXL_1 阅读(529) 评论(0) 推荐(0)
kafka-Streams
摘要：第 6 章 kafka Streams 6.1 概述 6.1.1 Kafka Streams Kafka Streams。Apache Kafka 开源项目的一个组成部分。是一个功能强大，易于使用的 库。用于在 Kafka 上构建高可分布式、拓展性，容错的应用程序。 6.1.2 Kafka Stre 阅读全文
posted @ 2019-06-11 15:39 LXL_1 阅读(292) 评论(0) 推荐(0)
Kafka-producer拦截器(interceptor)
摘要：第 5 章 Kafka producer 拦截器(interceptor) 5.1 拦截器原理 Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的，主要用于实现 clients 端的定 制化控制逻辑。 对于 producer 而言，interceptor 使得 阅读全文
posted @ 2019-06-11 14:06 LXL_1 阅读(393) 评论(0) 推荐(0)
Kafka-API
摘要：第 4 章 Kafka API 实战 4.1 环境准备 1）启动 zk 和 kafka 集群，在 kafka 集群中打开一个消费者 [atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh --zookeeper hadoop102:2181 阅读全文
posted @ 2019-06-10 23:34 LXL_1 阅读(234) 评论(0) 推荐(0)
Kafka-工作流程分析
摘要：第 3 章 Kafka 工作流程分析 Kafka核心组成 3.1 Kafka 生产过程分析 3.1.1 写入方式 producer 采用推（push）模式将消息发布到 broker，每条消息都被追加（append）到分 区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障 阅读全文
posted @ 2019-06-10 15:24 LXL_1 阅读(442) 评论(0) 推荐(0)
kafka-概述
摘要：第1章 Kafka 概述 1.1 消息队列 （1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息， 而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者 接收处理，即使有多个消息监 阅读全文
posted @ 2019-06-08 02:05 LXL_1 阅读(172) 评论(0) 推荐(0)