启动单机版Kafka

Kafka的本地安装实践

1. 在本地安装好Zookeeper和Kafka

1.1  由于工业中，数据量大，产生的速度快，所以Kafka在工业中也不时被使用。

1.2  根据网上大多教程，均可正确在本地配置。

 

2.  启动本地Kafka

2.1  启动zookeeper
在其bin目录下打开cmd:

zkServer.cmd

 

2.2  启动kafka
在其安装目录下打开cmd: 

.\bin\windows\kafka-server-start.bat .\config\server.properties

 

2.3  创建topic
在\bin\windows\下打开cmd:

 kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

　　

2.4  创建生产者
在\bin\windows\下打开cmd:

kafka-console-producer.bat --broker-list localhost:9092 --topic test

　　

2.5  创建消费者
在\bin\windows\下打开cmd:

kafka-console-consumer.bat --topic test --bootstrap-server localhost:9092

　　

2.6  启动之后，就可以从生产者发送消息了，此时消费者应该立即收到。

 

3.  Kafka命令

3.1  由于不同版本所使用的命令可能存在差异，所以在使用时，请注意自己Kafka的版本和命令版本的异同。

3.2  我使用的是2.12版Kafka的命令。

 

4. Python连接kafka

from kafka import KafkaProducer

# 创建生产者
producer = KafkaProducer(bootstrap_servers='127.0.0.1:9092')
for _ in range(3):
    # 指定topic发送bytes类型的数据
    producer.send('test', b'yangyi is handsome.')
producer.close()


consumer = KafkaConsumer('A', group_id='group', bootstrap_servers=['10.120.62.191:9092'])
for message in consumer:
    print("%s:%d:%d: key=%s value=%s" % (message.topic, message.partition, message.offset, message.key, message.value))

根据以上代码，test为topic，而后的是需要由生产者发送的内容。在消费者中，由于只有一个topic，所以无需指定。