2020年2月12日
sparkStreaming实时数据处理的优化方面
摘要： 1.并行度 在direct方式下，sparkStreaming的task数量是等于kafka的分区数，kakfa单个分区的一般吞吐量为10M/s 常规设计下：kafka的分区数一般为broken节点的3,6,9倍比较合理 比如我的集群有6个broken节点，创建kafka的分区为18个，sparkS 阅读全文
posted @ 2020-02-12 16:42 夜半钟声到客船 阅读(1858) 评论(0) 推荐(0)