随笔分类 -  KafKa

五 、 Kafka producer 拦截器(interceptor) 和 六 、Kafka Streaming案例
摘要：五 Kafka producer 拦截器(interceptor) 5.1 拦截器原理 Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的，主要用于实现 clients 端的定制化控制逻辑。 对于 producer 而言，interceptor 使得用户在消息 阅读全文
posted @ 2019-09-20 11:30 lilixia 阅读(639) 评论(0) 推荐(0)
四、Kafka API 实战
摘要：四 Kafka API 实战 4.1 环境准备 1）在 eclipse 中创建一个 java 工程 2）在工程的根目录创建一个 lib 文件夹 3）解压 kafka 安装包，将安装包 libs 目录下的 jar 包拷贝到工程的 lib 目录下，并 build path。 4）启动 zk 和 kafk 阅读全文
posted @ 2019-09-19 17:25 lilixia 阅读(344) 评论(0) 推荐(0)
三、Kafka工作流程分析
摘要：三 Kafka 工作流程分析 3.1 Kafka 生产过程(Producer)分析 3.1.1 写入方式 producer 采用推（push）模式将消息发布到 broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障 kafka 阅读全文
posted @ 2019-09-19 17:18 lilixia 阅读(356) 评论(0) 推荐(0)
二、Kafka集群部署
摘要：二 Kafka 集群部署 2.1 环境准备 2.1.1 集群规划 node01 node02 node03 zk zk zk kafka kafka kafka 2.1.2 jar 包下载 http://kafka.apache.org/downloads.html 2.1.3 虚拟机准备 1）准备 阅读全文
posted @ 2019-09-19 16:50 lilixia 阅读(556) 评论(0) 推荐(0)
一、KafKa概述
摘要：数据技术之 Kafka 版本：V1.0 一 Kafka概述 1.1 Kafka 是什么 在流式计算中，Kafka 一般用来缓存数据，SparkStreaming/Flink/Storm 通过消费 Kafka 的数据进行计算。 1）Apache Kafka 是一个开源消息系统，由 Scala 写成。是由 Apache 软件基金会开发的 一个开源消息系统项目。 2）Kafka 最初是由 LinkedI 阅读全文
posted @ 2019-09-19 14:59 lilixia 阅读(264) 评论(0) 推荐(0)
安装KafKa和常用命令
摘要：创建topic：./kafka-topics.sh --create --topic JsonData --partitions 3 --replication-factor 1 --zookeeper linux04 删除：bin/kafka-topics.sh --delete --zookee 阅读全文
posted @ 2019-09-19 13:55 lilixia 阅读(526) 评论(0) 推荐(0)