2021年3月15日
Spark-Streaming反压
摘要： 一，作用 Spark Streaming在处理不断流入的数据是通过每间隔一段时间(batch interval)，将这段时间内的流入的数据积累为一个batch，然后以这个batch内的数据作为job DAG的输入RDD提交新的job运行。当一个batch的处理时间大于batch interval时， 阅读全文
posted @ 2021-03-15 20:09 麦油 阅读(150) 评论(0) 推荐(0)