百里登风

导航

2017年8月12日

Spark运行模式概述

摘要： Spark编程模型的回顾 spark编程模型几大要素 RDD的五大特征 Application program的组成 运行流程概述 具体流程（以standalone模式为例） 任务调度 DAGScheduler TaskScheduler DAGScheduler ScheduleBacked 详细 阅读全文

posted @ 2017-08-12 23:15 百里登峰 阅读(265) 评论(0) 推荐(0)

Spark 编程模型（下）

摘要： 创建Pair RDD 什么是Pair RDD 创建Pair RDD Pair RDD的转化操作 Pair RDD的转化操作1 在xshell启动 reduceByKey的意思是把相同的key的value的值相加起来 Pair RDD转换操作2 Pair RDD的action操作 Pair RDD转换 阅读全文

posted @ 2017-08-12 18:07 百里登峰 阅读(172) 评论(0) 推荐(0)