随笔分类 -  zookeeper

kafka 数据目录结构
摘要：核心目录结构 在 KRaft 模式下，所有数据（包括元数据、消息日志、消费者偏移量）统一存储在 kraft-combined-logs/ 目录中。 元数据目录 路径：kraft-combined-logs/__cluster_metadata-0/ 作用：存储集群元数据（如 Topic 创建、分区分 阅读全文
posted @ 2025-03-07 14:38 小吉猫 阅读(215) 评论(0) 推荐(0)
systemctl 管理 zookeeper 服务
摘要：创建普通用户 groupadd zookeeper && useradd -M -N -g zookeeper -s /bin/false -c "zookeeper Server" zookeeper 数据目录授权 chown -R zookeeper:zookeeper /usr/local/a 阅读全文
posted @ 2025-02-06 13:56 小吉猫 阅读(78) 评论(0) 推荐(0)
kafka SASL/PLAIN 身份验证
摘要：kafka 认证机制 使用 SSL 或 SASL 对来自客户端（生产者和使用者）、其他代理和工具的代理连接进行身份验证。Kafka 支持以下 SASL 机制： SASL/GSSAPI （Kerberos） - 从版本 0.9.0.0 开始 SASL/PLAIN - 从版本 0.10.0.0 开始 S 阅读全文
posted @ 2024-12-01 21:39 小吉猫 阅读(1040) 评论(0) 推荐(0)
部署 KRaft 模式下的 Kafka
摘要：环境介绍 节点说明 kafka1: 192.168.174.100 kafka2: 192.168.174.101 kafka3: 192.168.174.102 安装 java # yum -y install java or apt -y install openjdk-17-jdk 创建 ka 阅读全文
posted @ 2024-10-25 13:45 小吉猫 阅读(423) 评论(0) 推荐(0)
strimzi operator 部署kafka集群
摘要：环境说明 本环境使用了单节点、临时存储集群的kafka-ephemeral-single配置。线上环境推荐kafka-persistent.yaml配置并修改storage配置为自动创建pv/pvc类型。 配置清单说明 1. kafka-ephemeral-single.yaml：非持久化存储，单节 阅读全文
posted @ 2023-11-21 10:58 小吉猫 阅读(869) 评论(0) 推荐(0)
docker-compose部署kafka3.4.x without zookeeper
摘要：创建数据目录 # mkdir -pv /data/apps/kafka/{kafka1_data,kafka2_data,kafka3_data} # chown -R 1001.1001 /data/apps/kafka/kafka* docker-compose.yaml version: "3 阅读全文
posted @ 2023-07-18 16:01 小吉猫 阅读(1749) 评论(0) 推荐(1)
docker-compose 部署zookeeper
摘要：docker-compose.yaml version: "3" services: zookeeper1: image: 'bitnami/zookeeper:3.8.1' container_name: zookeeper1 environment: - ALLOW_ANONYMOUS_LOGI 阅读全文
posted @ 2023-07-17 16:57 小吉猫 阅读(466) 评论(0) 推荐(0)
docker-compose部署kafka
摘要：创建数据目录 # mkdir -pv /data/apps/kafka/{kafka_data,zookeeper_data} # chown -R 1001.1001 /data/apps/kafka/kafka_data # chown -R 1001.1001 /data/apps/kafka 阅读全文
posted @ 2022-09-26 16:10 小吉猫 阅读(1285) 评论(0) 推荐(0)
zookeeper监控
摘要：一 修改zoo.cfg文件 官方文档：http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_configuration root@zk-01:~# echo "4lw.commands.whitelist=*" >> /usr/ 阅读全文
posted @ 2021-11-24 16:18 小吉猫 阅读(377) 评论(0) 推荐(0)
zookeeper集群部署
摘要：一 系统设置 1.1 时间同步 ~# apt -y install chrony ~# systemctl start chrony ~# systemctl enable chrony 1.2 服务器规划 角色 IP zk-01 192.168.174.103 zk-02 192.168.174. 阅读全文
posted @ 2021-11-24 14:06 小吉猫 阅读(206) 评论(0) 推荐(0)
zookeeper简介
摘要：一 zookeeper介绍 ZooKeeper是一个开源的分布式应用程序协调系统。简称ZK，ZK是一个典型的分布式数据一致性解决方案，分布式应用程序可以基于它实现数据的发布/订阅、负载均衡、名称服务、分布式协调/通知、集群管理、Master选举、分布式锁盒分布式队列等等功能。它运行在JAVA环境之中 阅读全文
posted @ 2021-11-24 13:52 小吉猫 阅读(412) 评论(0) 推荐(0)