摘要: 标签(空格分隔): Spark 本篇博客以WordCount为例说明Spark Job的提交和运行,包括Spark Application初始化、DAG依赖性分析、任务的调度和派发、中间计算结果的存储和读取。 SparkContext的初始化综述 SparkContext是进行Spark应用开大的主 阅读全文
posted @ 2017-01-03 17:23 江湖小妞 阅读(2554) 评论(0) 推荐(0) 编辑
摘要: 标签(空格分隔): Spark 还记得上次的 程序嘛?通过这个小程序,我们来一窥Spark的框架是什么样子的。 sc.textFile("/usr/local/Cellar/apache spark/1.3.0/README.md").flatMap(line = line.split(" ")). 阅读全文
posted @ 2017-01-03 15:02 江湖小妞 阅读(625) 评论(0) 推荐(1) 编辑