Kafka性能测试

Kafka性能测试

单节点、百兆网卡

生产者

消费者

start.time	end.time	data.consumed.in.MB	MB.sec	data.consumed.in.nMsg	nMsg.sec	rebalance.time.ms	fetch.time.ms	fetch.MB.sec	fetch.nMsg.sec
19:01:12:193	19:05:25:988	2861.3758	11.2744	3000370	11822.0217	774	253021	11.3088	11858.1857

集群（3个节点）、百兆网卡

生产者

消费者

start.time	end.time	data.consumed.in.MB	MB.sec	data.consumed.in.nMsg	nMsg.sec	rebalance.time.ms	fetch.time.ms	fetch.MB.sec	fetch.nMsg.sec
19:28:07:904	19:28:36:407	953.7115	33.4600	1000039	35085.3945	299	28204	33.8148	35457.3465

单节点、不限制网卡

生产者

消费者

start.time	end.time	data.consumed.in.MB	MB.sec	data.consumed.in.nMsg	nMsg.sec	rebalance.time.ms	fetch.time.ms	fetch.MB.sec	fetch.nMsg.sec
19:51:16:377	19:51:27:616	953.9738	84.8807	1000314	89003.8260	374	10865	87.8025	92067.5564

集群（3台）、不限制网卡

生产者

消费者

start.time	end.time	data.consumed.in.MB	MB.sec	data.consumed.in.nMsg	nMsg.sec	rebalance.time.ms	fetch.time.ms	fetch.MB.sec	fetch.nMsg.sec
20:45:27:097	20:45:33:382	953.6743	151.7382	1000000	159108.9897	970	5315	179.4307	188146.7545

生产者参数配置

linger.ms = 5

linger.ms = 5 && batch.size=32M

linger.ms = 10 && batch.size=32M

linger.ms = 20 && batch.size=32M