2018年4月26日
Spark源码系列02-SparkContext
摘要： 用的spark版本1.3+ 1.SparkSubmit bin/spark-submit --class xx.WordCount --master spark://ip:7077 --executor-memory 2g --total-executor-cores 4 2.WordCount n 阅读全文
posted @ 2018-04-26 22:53 Dlimeng 阅读(6) 评论(0) 推荐(0)
spark源码系列02-sparkcontext_李孟_新浪博客
摘要： 用的spark版本1.3+ 1.SparkSubmit bin/spark-submit --class xx.WordCount --master spark://ip:7077 --executor-memory 2g --total-executor-cores 4 2.WordCount n 阅读全文
posted @ 2018-04-26 22:53 Dlimeng 阅读(17) 评论(0) 推荐(0)
spark源码系列01-Woker启动Executor过程并向Driver注册
摘要： spark版本是1.3+ Woker启动Executor过程并向Driver注册时序图： 1.launchExecutor Master发送消息让Worker启动Executor 2.Worker new() Master 发送给Worker的消息，让Worker启动Execitor,LaunchE 阅读全文
posted @ 2018-04-26 12:28 Dlimeng 阅读(11) 评论(0) 推荐(0)
spark源码系列01-Woker启动Executor过程并向Driver注册_李孟_新浪博客
摘要： spark版本是1.3+ Woker启动Executor过程并向Driver注册时序图： 1.launchExecutor Master发送消息让Worker启动Executor 2.Worker new() Master 发送给Worker的消息，让Worker启动Execitor,LaunchE 阅读全文
posted @ 2018-04-26 12:28 Dlimeng 阅读(15) 评论(0) 推荐(0)