打赏
2016年9月25日
作业提交过程分析（源码）
摘要： sc.textFile("README.md").flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_ + _).collect sc.textFile("README.md").flatMap(line => li 阅读全文
posted @ 2016-09-25 16:28 大数据和AI躺过的坑 阅读(519) 评论(0) 推荐(0)
Spark Repl过程分析（源码）
摘要： 阅读全文
posted @ 2016-09-25 12:05 大数据和AI躺过的坑 阅读(435) 评论(0) 推荐(0)
SparkContext的初始化过程分析（源码）
摘要： SparkContext的构造函数中，最重要的入参是SparkConf 根据初始化入参生成SparkConf 再根据SparkConf来创建SparkEnv TaskScheduler.start的目的，是启动相应的SchedulerBackend，并启动定时器进行检测。 总结 阅读全文
posted @ 2016-09-25 11:58 大数据和AI躺过的坑 阅读(418) 评论(0) 推荐(0)
从Spark-Shell到SparkContext的函数调用路径过程分析（源码）
摘要： 不急，循序渐进，先打好基础 Spark shell的原理 首先，我们清晰定位找到这几个。 1、spark-shell 2、 spark-submit 3、spark-class 4、SparkSubmit.scala 5、SparkILoop.scala createSparkContext的源码 阅读全文
posted @ 2016-09-25 11:13 大数据和AI躺过的坑 阅读(1480) 评论(0) 推荐(0)