2019年10月27日
spark性能优化
摘要： 一：Spark的性能优化，主要手段包括：1、使用高性能序列化类库2、优化数据结构3、对多次使用的RDD进行持久化 / Checkpoint4、使用序列化的持久化级别5、Java虚拟机垃圾回收调优6、提高并行度7、广播共享数据8、数据本地化9、reduceByKey和groupByKey的合理使用10 阅读全文
posted @ 2019-10-27 21:23 上海小墨子 阅读(1937) 评论(0) 推荐(0)
spark从入门到精通未了解部分
摘要： SparkContext，Master准备切换源码； TaskScheduler,Exector,Task,Shuffle,BlockManager,CacheManager,Checkponit源码； 拓展阅读：中华石杉-spark从入门到精通 阅读全文
posted @ 2019-10-27 15:50 上海小墨子 阅读(224) 评论(0) 推荐(0)
spark--job和DAGScheduler源码
摘要： 一个job对应一个action操作，action执行会有先后顺序； 每个job执行会先构建一个DAG路径，一个job会含有多个stage，主要逻辑在DAGScheduler。 spark提交job的源码见（SparkContext.scala的runJob方法）： DAGScheduler--job 阅读全文
posted @ 2019-10-27 15:43 上海小墨子 阅读(375) 评论(0) 推荐(0)
spark源码--worker启动原理和源码
摘要： worker启动一般包含两大部分：DriverRunner和ExcetorRunner。 worker启动driver的几个基本原理，最核心的是。worker内部会启动一个线程，这个线程可以理解为driverRunner。然后DriverRunner会去负责启动driver进程，并在之后对drive 阅读全文
posted @ 2019-10-27 14:54 上海小墨子 阅读(461) 评论(0) 推荐(0)