2018年1月5日
3.算子+PV&UV+submit提交参数+资源调度和任务调度源码分析+二次排序+分组topN+SparkShell
摘要： 1.补充算子 transformations Ø mapPartitionWithIndex 类似于mapPartitions,除此之外还会携带分区的索引值。 Ø repartition 增加或减少分区。会产生shuffle。（多个分区分到一个分区不会产生shuffle） 多用于增多分区. 底层调用 阅读全文
posted @ 2018-01-05 19:56 ACCI 阅读(284) 评论(0) 推荐(0)
2017年11月30日
2. Client和Clister提交任务+算子+术语+宽窄依赖+stage+任务调度和资源
摘要： 转载注明出处谢谢~~ 1.Standalone模式两种提交任务方式 1.Standalone-client提交任务方式 Ø 提交命令 ./spark-submit --master spark://node1:7077 --class org.apache.spark.examples.SparkP 阅读全文
posted @ 2017-11-30 21:21 ACCI 阅读(399) 评论(0) 推荐(0)
1. Spark初始+算子+搭建
摘要： 转载注明出处谢谢~~ 1.Spark初始 1.什么是Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥 阅读全文
posted @ 2017-11-30 21:10 ACCI 阅读(359) 评论(1) 推荐(0)