Kafka基础 - 随笔分类 - 逆光飞翔-

Kafka与Flume之集成比较

摘要：Kafka与Flume之集成比较一、Kafka与Flume比较在企业中必须要清楚流式数据采集框架flume和kafka的定位是什么：flume：cloudera公司研发: 适合多个生产者；适合下游数据消费者不多的情况；适合数据安全性要求不高的操作；适合与Hadoop生态圈对接的操作。kaf 阅读全文

posted @ 2021-11-03 19:36 逆光飞翔- 阅读(207) 评论(0) 推荐(0)

Kafka之配置信息

摘要：Kafka之配置信息一、Broker配置信息属性默认值描述 broker.id 必填参数，broker的唯一标识 log.dirs /tmp/kafka-logs Kafka数据存放的目录。可以指定多个目录，中间用逗号分隔，当新partition被创建的时会被存放到当前存放partition 阅读全文

posted @ 2021-11-03 19:33 逆光飞翔- 阅读(257) 评论(0) 推荐(0)

Kafka 之 Streams

摘要：Kafka 之 Streams 一、概述 1.1 Kafka Streams Kafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大，易于使用的库。用于在Kafka上构建高可分布式、拓展性，容错的应用程序。 1.2 Kafka Streams特点 1）功能强大高阅读全文

posted @ 2021-11-03 19:29 逆光飞翔- 阅读(343) 评论(0) 推荐(0)

Kafka 之producer拦截器(interceptor)

摘要：Kafka 之producer拦截器(interceptor) 一、拦截器原理 Producer拦截器(interceptor)是在Kafka 0.10版本被引入的，主要用于实现clients端的定制化控制逻辑。对于producer而言，interceptor使得用户在消息发送前以及produce 阅读全文

posted @ 2021-11-03 19:22 逆光飞翔- 阅读(232) 评论(0) 推荐(0)

Kafka之 API实战

摘要：Kafka之 API实战一、环境准备 1）启动zk和kafka集群，在kafka集群中打开一个消费者 [hadoop1 kafka]$ bin/kafka-console-consumer.sh \ --zookeeper hadoop1:2181 --topic first 2）导入pom依赖阅读全文

posted @ 2021-11-03 19:16 逆光飞翔- 阅读(350) 评论(0) 推荐(0)

Kafka之工作流程分析

摘要：Kafka之工作流程分析 kafka核心组成一、Kafka生产过程分析 1.1 写入方式 producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障kafka吞吐率）。 1.2 阅读全文

posted @ 2021-11-02 20:41 逆光飞翔- 阅读(753) 评论(0) 推荐(0)

Kafka之概述

摘要：Kafka之概述一、消息队列内部实现原理（1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者阅读全文

posted @ 2021-11-02 20:08 逆光飞翔- 阅读(67) 评论(0) 推荐(0)

Kafka之安装

摘要：Kafka之安装一、下载kafka 此博客只讲述kafka0.8和kafka1.0两个版本更改kafka下的/home/bigdata/kafka/config/server.properties 1.1 kafka0.8版本 20行：broker.id=1 28行：host.name=hado 阅读全文

posted @ 2021-10-26 20:32 逆光飞翔- 阅读(80) 评论(0) 推荐(0)

随笔分类 - Kafka基础