kafka搭建

1、上传压缩包到任意节点
2、解压，配置环境变量
3、修改config/server.properties
    1、broker.id=0，每一个节点broker.id 要不一样
    2、zookeeper.connect=master:2181,node1:2181,node2:2181
    3、log.dirs=/usr/local/soft/kafka_2.11-1.0.0/data   消息存放的位置
4、复制到其它节点
scp -r kafka_2.11-1.0.0 node2:`pwd`
scp -r kafka_2.11-1.0.0 node1:`pwd`
5、修改每个节点的broker.id  master=0   node1=1  node2=2
6、启动
    1、启动zookeeper，  需要在所有节点启动
     zkServer.sh start

    查看状态
     zkServer.sh status
     
    3，在每台节点启动broker，  kafka是去中心化的架构   -daemon 后台启动   在所有节点启动
    kafka-server-start.sh -daemon  /usr/local/soft/kafka_2.11-1.0.0/config/server.properties


1、创建topic

--replication-factor  ---每一个分区的副本数量
--partition   --分区数，  根据数据量设置

kafka-topics.sh --create --zookeeper master:2181,node1:2181,node2:2181 --replication-factor 3 --partitions 3 --topic test_topic1

2、查看topic描述信息
kafka-topics.sh --describe  --zookeeper master:2181,node1:2181,node2:2181 --topic test_topic1

3、获取所有topic
kafka-topics.sh --list  --zookeeper  master:2181,node1:2181,node2:2181 


4、创建控制台生产者
kafka-console-producer.sh --broker-list master:9092,node1:9092,node2:9092 --topic test_topic1


5、创建控制台消费者  --from-beginning   从头消费
kafka-console-consumer.sh --bootstrap-server  master:9092,node1:9092,node2:9092  --from-beginning --topic test_topic1


重置kafka
1、关闭kafka
kill -9 

2、删除元数据  zk
zkCli.sh
删除预kafka有关的所有信息
ls /
rmr /config
rmr /brokers

3、删除kafka的数据  所有节点都要删除
rm -rf /usr/local/soft/kafka_2.11-1.0.0/data 

4 重启
kafka-server-start.sh -daemon  /usr/local/soft/kafka_2.11-1.0.0/config/server.properties