随笔分类 -  Kafka

Kafka学习笔记（六、Kafka Connect）
摘要：目录： 什么是Kafka Connect Kafka Connect能干什么 Kafka Connect使用示例 什么是Kafka Connect 它是一种用于Kafka和其它系统之间（其它数据源）流式数据传输的工具，如Mysql >> Oracle，Json >> Mysql，MongoDB >> 阅读全文
posted @ 2020-01-31 19:46 被猪附身的人 阅读(1358) 评论(0) 推荐(0)
Kafka学习笔记（五、Kafka偏移量）
摘要：目录： MetaData信息 Kafka偏移量 客户端负载均衡 MetaData信息 客户端如何知道该往哪个节点发送请求来获取数据：通过元数据。 元数据（MetaData）是什么：topic、topic的分区、每个分区有哪些副本、哪个副本是leader等信息。 一般情况下客户端会缓存元数据，并直接往 阅读全文
posted @ 2020-01-26 13:36 被猪附身的人 阅读(4477) 评论(0) 推荐(0)
Kafka学习笔记（四、Kafka存储机制和日志）
摘要：目录： Kafka存储机制 Kafka分区规则 Kafka分区策略 Kafka日志 Kafka存储机制 再说Kafka存储机制之前我们先了解下分区和副本的作用： 分区：为了提高性能（也就是分而治之，它是高并发分布式中心思想）。 副本：为了高可用（保证数据安全）。 如何设置副本数量： 最低一个，最大不 阅读全文
posted @ 2020-01-20 18:15 被猪附身的人 阅读(923) 评论(0) 推荐(0)
Kafka学习笔记（三、Kafka CLI与Kafka Java API）
摘要：目录： Kafka CLI Kafka Java API Kafka CLI 1、kafka-topic.sh：可创建、删除、修改、查看topic，并且还可以查看topic列表。 查看topic列表：./kafka-topics.sh --list --zookeeper 127.0.0.1:218 阅读全文
posted @ 2020-01-14 16:43 被猪附身的人 阅读(513) 评论(0) 推荐(0)
Kafka学习笔记（二、Kafka中的角色）
摘要：目录： Kafka Broker和集群 Kafka主题和分区 Kafka Producer和Consumer Kafka Broker和集群： 1、Broker：一个独立的Kafka服务器被称为broker，它用于接收生产者的消息，并设置消息的偏移量，还会把消息保存到磁盘中。 2、集群：多个Kafk 阅读全文
posted @ 2020-01-11 21:49 被猪附身的人 阅读(1086) 评论(0) 推荐(0)
Kafka学习笔记（一、Kafka基础）
摘要：目录： 什么是Kafka 为什么使用Kafka Kafka应用场景 Kafka特点 Kafka与RabbitMQ比较 Kafka安装 什么是Kafka Kafka是LinkedIn公司开发的一套分布式、多分区、多副本且基于Zookeeper协调的开源流处理平台。 流处理：说道流处理就需要先了解以下流 阅读全文
posted @ 2020-01-07 22:05 被猪附身的人 阅读(302) 评论(0) 推荐(0)