2020年7月30日
Spark Streaming之性能调优
摘要： Spark流式计算程序要想运行顺畅，也需要一些基本的调优，总结一下主要在两个方向： 每个批次的处理时间尽可能短。 收到数据后，尽可能地处理。 1.减少批处理的时间 一是增加数据接收的并发数量，尤其是当瓶颈发生在数据接收的时候。默认每个Input DStream都只会创建一个接收器，运行在某个节点上， 阅读全文
posted @ 2020-07-30 19:02 云山之巅 阅读(562) 评论(0) 推荐(0) 编辑