随笔分类 -  Kafka

实操2：使用sparkStreaming处理kafka的消息队列
摘要：实操1中，已经实现了将数据传进kafka中，这里我们用sparkStreaming对数据进行处理 举个例子： 原来数据： A,甲 乙 丙 （这里为空） 丁 处理过后： A,甲 A,乙 A,丙 A,丁将一行数据"炸开",并将空值处理掉 import java.util import org.apach 阅读全文

posted @ 2021-12-16 17:19 理想三旬_z 阅读(131) 评论(0) 推荐(0)

2.Kafka的工作原理及数据丢失、数据重复问题
摘要：一、概述 一个分布式消息中间件，基于zookeeper的分布式日志系统。（最新的3.0版本摆脱了对zookeeper的依赖，游标改为记录在一个单独的队列里） 简单来讲，就是一个存储系统，起一个缓冲作用。 所谓的消息系统，就是将数据从一个地方传递到另一个地方。消息传递模式有两种：点对点传递模式，发布- 阅读全文

posted @ 2021-11-04 22:53 理想三旬_z 阅读(610) 评论(0) 推荐(0)

1.Kafka的搭建以及常用命令
摘要：这里我使用的是Kafka 2.11-2.0.0. 首先确保已经安装好zookeeper （kafka只负责数据的传输，而每次传输数据的位置会有一个游标来记录，下次传输数据直接找到游标的位置。而负责记录这个游标位置的是：zookeeper） 1.搭建 上传并解压压缩包 ，进入到config目录下， v 阅读全文

posted @ 2021-11-03 22:16 理想三旬_z 阅读(142) 评论(0) 推荐(0)

导航