kafka
zookeeper启动:
sh bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
kafaka启动:
bin/kafka-server-start.sh -daemon config/server.properties
创建topic:
sh bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
消费者命令:
./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test --from-beginning
生产者命令:
sh bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic tes
查看topic:
sh bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
kafka集群配置:
https://www.cnblogs.com/shamo89/p/11921610.html
- Broker
Kafka集群包含一个或多个服务器,这种服务器被称为broker - Topic
每条发布到Kafka集群的消息都有一个类别,这个类别被称为topic。(物理上不同topic的消息分开存储,逻辑上一个topic的消息虽然保存于一个或多个broker上但用户只需指定消息的topic即可生产或消费数据而不必关心数据存于何处) - Partition
parition是物理上的概念,每个topic包含一个或多个partition,创建topic时可指定parition数量。每个partition对应于一个文件夹,该文件夹下存储该partition的数据和索引文件 - Producer
负责发布消息到Kafka broker - Consumer
消费消息。每个consumer属于一个特定的consumer group(可为每个consumer指定group name,若不指定group name则属于默认的group)。使用consumer high level API时,同一topic的一条消息只能被同一个consumer group内的一个consumer消费,但多个consumer group可同时消费这一消息。
Kafka broker-list,bootstrap-server以及zookeeper的区别
https://www.cnblogs.com/huangguoming/p/12563907.html