我们项目使用consumer参数
1 group.id
这没什么好说的,用kafka的都知道
2 bootstrap.servers
同上
3 enable.auto.commit
false
4 auto.offset.reset
earliest
5 key.deserializer value.deserializer
这两个都是空实现,因为我们使用avro的,在拉到消息的时候通过avro来解析
6 max.poll.records
我们配的是1000,因为写jdbc比较慢
7 max.partition.fetch.bytes
10 * 1024 * 1024 因为有些表有大对象所以这个值配的大一点
8
·max.partition.fetch.bytes
一次fetch请求,从一个partition中取得的records最大大小。如果在从topic中第一个非空的partition取消息时,如果取到的第一个record的大小就超过这个配置时,仍然会读取这个record,也就是说在这片情况下,只会返回这一条record。
broker、topic都会对producer发给它的message size做限制。所以在配置这值时,可以参考broker的message.max.bytes 和 topic的max.message.bytes的配置。
·max.poll.interval.ms
前面说过要求程序中不间断的调用poll()。如果长时间没有调用poll,且间隔超过这个值时,就会认为这个consumer失败了。
浙公网安备 33010602011771号