streaming优化:spark.streaming.receiver.maxRate

使用spark.streaming.receiver.maxRate来限制你的吞吐的最大信息量。

因为当streaming程序的数据源的数据量突然变大巨大,可能会导致streaming被撑住导致吞吐不过来,所以可以考虑对于最大吞吐做一下限制。

posted @ 2015-05-14 10:10  HarkLee  阅读(2165)  评论(0编辑  收藏  举报