随笔分类 -  kafka学习笔记

Kafka学习笔记（四）—— API原理剖析
摘要：1、Producer API 1.1 消息发送流程 Kafka的Producer发送消息采用的是 异步发送 的方式。在消息发送的过程中，涉及到了两个线程—— main线程和Sender线程 ，以及一个线程共享变量—— RecordAccumulator 。main线程将消息发送给RecordAccu 阅读全文
posted @ 2020-01-01 16:50 Simon-Lau 阅读(734) 评论(0) 推荐(0)
kafka学习笔记（一）——概述
摘要：1、kafka是什么？ 官方说明是： Kafka是一个分布式的基于 发布/订阅模式 的 消息队列 ，主要应用于大数据实时处理领域。 提到了两个概念： 发布/订阅模式 消息队列 下边来理解一下这两个名词。 2、消息队列（Message Queue） 2.1 什么是消息队列？ 两个单词简写一下就是MQ， 阅读全文
posted @ 2019-11-21 22:07 Simon-Lau 阅读(278) 评论(0) 推荐(0)
kafka学习笔记（二）——基础入门
摘要：1、集群规划 从官网下载jar包 http://kafka.apache.org/downloads.html，我选择的是 版本 规划一下集群环境先~ | hadoop102 | hadoop103 | hadoop104 | | | | | | zk | zk | zk | | kafka | k 阅读全文
posted @ 2019-11-20 22:07 Simon-Lau 阅读(226) 评论(0) 推荐(0)
Kafka学习笔记（三）——架构深入
摘要：之前搭建好了Kafka的学习环境，了解了具体的配置文件内容，并且测试了生产者、消费者的控制台使用方式，也学习了基本的API。那么下一步，应该学习一下具体的内部流程~ 1、Kafka的工作流程 大致的工作流程图如下： 如图所示哈，整个工作环境包括：一个生产者（producer）,一个消费者组（含有三个 阅读全文
posted @ 2019-11-19 15:23 Simon-Lau 阅读(593) 评论(1) 推荐(0)