Spark Streaming消费kafka消息一次性积压太多内存溢出,调整消费批次参数控制

1  增加参数 来控制消费次数 ,根据情况选择合适的参数即可,我这里修改为了10000.

   不设置的话,默认是拉取全部的数据,有可能引起内存溢出或者任务失败等问题。

.config("spark.streaming.kafka.maxRatePerPartition", 10000)

 

posted @ 2020-10-27 16:23  Questions张  阅读(1333)  评论(0编辑  收藏  举报