2020年1月17日
通过SparkListener监控spark应用
摘要： 监控spark应用的方式比较多，比如spark on yarn可以通过yarnClient api监控。这里介绍的是spark内置的一种监控方式 如果是sparkStreaming，对应的则是streamingListener package cn.com.kong; import org.apac 阅读全文
posted @ 2020-01-17 13:50 sw_kong 阅读(3483) 评论(0) 推荐(0)
dataset的reparation和coalesce
摘要： /** * Returns a new Dataset that has exactly `numPartitions` partitions, when the fewer partitions * are requested. If a larger number of partitions i 阅读全文
posted @ 2020-01-17 09:50 sw_kong 阅读(718) 评论(0) 推荐(1)