Kafka性能测试

背景

kafka提供了性能吞吐量测试脚本,分别是 kafka-producer-perf-test.sh 和 kafka-consumer-perf-test.sh,通过该脚本可以对生产者性能和消费者性能进行测试。

 

环境

centos7    1C     1G

3Broker在同一台机器

 

测试参数

生产者测试参数

参数 说明
--topic 指定生产者发送消息的topic
--throughput 每秒发送的最大消息数
--record-size 每条消息字节数
--producer-props 通过键值对的方式指定配置属性,多组属性用空格分隔。一般只配置bootstrap.servers
--num-records 测试时发送消息的总记录数

 测试者测试参数

参数 说明
--topic 指定消费者接收消息的topic

--thread

指定线程数
--messages 接收消息总记录数
--group 消费者组
--bootstrap-server kafka服务ip:port

 

 测试实例

一个分区,两个副本

1、创建topic

./kafka-topics.sh --create --topic t1-test --zookeeper 192.168.56.101:2181 --partitions 1 --replication-factor 2

2、生产者测试

./kafka-producer-perf-test.sh --topic t1-test --num-records 1000000 --record-size 1000 --throughput 50000 --producer-props bootstrap.servers=192.168.56.101:9092

3、消费者测试:

./kafka-consumer-perf-test.sh --bootstrap-server 192.168.56.101:9092 --group g1-test --messages 1000000 --topic t1-test

 

三个分区,两个副本

1、创建topic

./kafka-topics.sh --create --topic t3-test --zookeeper 192.168.56.101:2181 --partitions 3 --replication-factor 2

2、生产者测试

./kafka-producer-perf-test.sh --topic t3-test --num-records 1000000 --record-size 1000 --throughput 50000 --producer-props bootstrap.servers=192.168.56.101:9092

3、消费者测试:

./kafka-consumer-perf-test.sh --bootstrap-server 192.168.56.101:9092 --group g3-test --messages 1000000 --topic t3-test

 

参考地址:kafka性能测试实例

posted @ 2021-09-01 09:48  仅此而已-远方  阅读(294)  评论(0编辑  收藏  举报