我们项目使用consumer参数

1 group.id

  这没什么好说的,用kafka的都知道

2 bootstrap.servers

  同上

3 enable.auto.commit 

  false

4 auto.offset.reset

  earliest

5 key.deserializer  value.deserializer 

  这两个都是空实现,因为我们使用avro的,在拉到消息的时候通过avro来解析

6 max.poll.records 

  我们配的是1000,因为写jdbc比较慢

7 max.partition.fetch.bytes 

  10 * 1024 * 1024 因为有些表有大对象所以这个值配的大一点

·max.partition.fetch.bytes

一次fetch请求,从一个partition中取得的records最大大小。如果在从topic中第一个非空的partition取消息时,如果取到的第一个record的大小就超过这个配置时,仍然会读取这个record,也就是说在这片情况下,只会返回这一条record。

    broker、topic都会对producer发给它的message size做限制。所以在配置这值时,可以参考broker的message.max.bytes 和 topic的max.message.bytes的配置。

 

·max.poll.interval.ms

前面说过要求程序中不间断的调用poll()。如果长时间没有调用poll,且间隔超过这个值时,就会认为这个consumer失败了。

  

posted on 2020-12-01 17:28  MaXianZhe  阅读(336)  评论(0)    收藏  举报

导航