Coreqi

摘要： 1.环境准备 1.Kafka集群环境准备 1.准备一个Kafka集群环境并启动 Kafka 3.6.1 集群安装与部署 2.创建first Topic /usr/kafka/kafka_2.13-3.6.1/bin/kafka-topics.sh --bootstrap-server 192.168 阅读全文

摘要： Flume官网： https://flume.apache.org/ 下载地址： https://archive.apache.org/dist/flume/ 文档地址： https://flume.apache.org/FlumeUserGuide.html 1.安装部署 1.将二进制包上传到服务 阅读全文

摘要： 1.环境准备 1.准备一个Kafka集群环境并启动 Kafka 3.6.1 集群安装与部署 2.在任意Kafka集群节点上安装Flume Flume 1.11 部署 2.Flume 生产者 1.配置 Flume cd /usr/flume/apache-flume-1.11.0-bin/ mkdir 阅读全文

摘要： 1.集群规划 一般模式下，元数据在 zookeeper 中，运行时动态选举 controller，由controller 进行 Kafka 集群管理。kraft 模式架构（实验性）下，不再依赖 zookeeper 集群，而是用三台 controller 节点代替 zookeeper，元数据保存在 c 阅读全文

摘要： kafka集群部署完成后需要有一个可视化web页面，便于实时查看和观测kafka集群状态，kafka本身并没有提供可视化页面，但市面上有很多开源的可视化工具，我们以其中的Kafka Eagle为例，在安装Kafka Eagle之前，至少需要安装JDK、kafka、zookeeper的环境后，再进行后 阅读全文

摘要： 1.Kafka 消费方式 pull（拉）模式： consumer采用从broker中主动拉取数据。 Kafka采用这种方式。 push（推）模式： Kafka没有采用这种方式，因为由broker决定消息发送速率，很难适应所有消费者的消费速率。例如推送的速度是50m/s，Consumer1、Consu 阅读全文

摘要： 1.Kafka Broker 工作流程 1.Zookeeper 存储的 Kafka 信息 /kafka/brokers/ids 记录有哪些Kafka Broker服务器 /kafka/brokers/topics/first/partitions/0/state 记录每一个主题下的分区对应的Lead 阅读全文

摘要： 1.生产者消息发送流程 1.发送原理 在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程。在 main 线程中创建了一个双端队列 RecordAccumulator。main 线程将消息发送给 RecordAccumulator，Sender 线程不断从 RecordAcc 阅读全文

摘要： 1.Topic(主题)命令行操作 1.查看Topic所有命令 bin/kafka-topics.sh 以下展示为最常使用的 参数 描述 --bootstrap-server <String: server toconnect to> 连接的 Kafka Broker 主机名称和端口号 --topic 阅读全文

摘要： 1.集群规划 hadoop02(192.168.58.130) hadoop03(192.168.58.131) hadoop04(192.168.58.132) zookeeper zookeeper zookeeper kafka kafka kafka 2.集群部署 1.下载kafka二进制包 阅读全文