kafka 学习

 

 

 

安装

quick start

 

kafka 调参，我发现trigger.once 得到大概10w条数据，不知道这个数字怎么定出来的，可能是这里的参数决定的 https://stackoverflow.com/questions/51753883/increase-the-number-of-messages-read-by-a-kafka-consumer-in-a-single-poll/51755259

 

Offset 和文件对应关系 http://www.mamicode.com/info-detail-2169622.html

输出特定offset的

　　message kafka-console-consumer.sh --bootstrap-server kafka-0.kafka-headless.kafka.svc.cluster.local:9093 --topic app.terex.asf.beat --partition 1 --offset 43291 --max-messages 1 --consumer.config /opt/my_conf

 

查看对应的Log文件的部分内容

　　kafka-dump-log.sh --print-data-log --files 00000000000000042500.log

 

Ref:

1. https://www.cloudkarafka.com/blog/2016-11-30-part1-kafka-for-beginners-what-is-apache-kafka.html 基本概念介绍