摘要：前几天公司clickhouse 有个查询很慢。经理一直追问为什么慢 是cpu 不够 还是IO 占用太高，还是其他的原因。于是有了以下的排查 执行该条，在不考虑优化sql 的情况下 进行性能排查 1、首先便是万能的 top第三行CPU信息统计数据： %Cpu(s): 0.3 us, 0.2 sy, 0 阅读全文

摘要：1.Rdd rdd中 reduce、fold、aggregate、collect、count这些方法 都会调用 sparkContext.runJob ，这些方法称之为Action 触发提交Job def reduce(f: (T, T) => T): T = withScope { val cle 阅读全文

摘要：1.SparkContext.scala sparkcontext 在被new的时候，会执行class中的代码 其中有一个就是创建TaskScheduler 和 SchedulerBackend，而SchedulerBackend 就是driver 和 外界通信的，我理解SchedulerBacke 阅读全文