Kafka单机及集群部署

一、Kafka单机部署

　　1. Docker方式部署：编辑docker-compse.yml配置

version: "3"

networks:
    rhxy-network:
        external: true

services:
    elasticsearch:
        image: docker.m.daocloud.io/bitnami/kafka:3.7.0
        container_name: kafka
        hostname: kafka
        restart: always
        ports:
            - 9092:9092
        networks:
            - rhxy-network
        volumes:
            - "/data/kafka/data:/bitnami/kafka/data"
            - "/data/kafka/logs:/opt/bitnami/kafka/logs"
        environment:
            TZ: Asia/Shanghai
            KAFKA_CFG_NODE_ID: 0
            # 使用raft模式
            KAFKA_CFG_PROCESS_ROLES: controller,broker
            KAFKA_CFG_LISTENERS: PLAINTEXT://:9092,CONTROLLER://:9093
            KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP: CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
            KAFKA_CFG_CONTROLLER_QUORUM_VOTERS: 0@kafka:9093
            KAFKA_CFG_CONTROLLER_LISTENER_NAMES: CONTROLLER
            KAFKA_CLIENT_USERS: kafka
            KAFKA_CLIENT_PASSWORDS: 123456
            KAFKA_HEAP_OPTS: "-Xmx512m -Xms512m"

 

二、shell命令操作

　　1. 创建主题：kafka-topics.sh --bootstrap-server kafka:9092 --topic test --create；

　　2. 查看主题

　　　　A. 查看所有主题：kafka-topics.sh  --bootstrap-server kafka:9092 --list；

　　　　B. 查询主题详情：kafka-topics.sh --bootstrap-server kafka:9092 --from-beginning --topic [TopicName]；

　　　　　　　　　　　　kafka-topics.sh --bootstrap-server kafka:9092 --topic test --describe；

　　3. 修改主题：kafka-topics.sh --bootstrap-server kafka:9092 --topic test --alter --partitions 2；

　　4. 删除主题：kafka-topics.sh --bootstrap-server kafka:9092 --topic test --delete；

　　5. 生产者生成数据：kafka-console-producer.sh --bootstrap-server kafka:9092 --topic test，回车后输入数据再回车表示生成一个消息

　　6. 消费者消费数据：kafka-console-consumer.sh --bootstrap-server kafka:9092 --topic test

　　7. 查看消费者组：kafka-consumer-groups.sh --bootstrap-server kafka:9092 --list

 

三、Kafka可视化监控管理工具

　　1. manager

 # Kafka管理界面
    kafka-manager:
        image: kafka-manager:latest
        deploy:
            mode: global
        ports:
            - "8780:9000"
        networks:
            - host
        environment:
            ZK_HOSTS: zookeeper:2181

　　2. eagle