2022 年 5月 3 日随笔档案 - 608088

2022年5月3日

摘要：结论 spark-submit命令是SparkSubmit类提供的命令行功能，通过解析命令行参数判断运行模式，集群方案，额外参数等信息，此例中触发YarnClusterApplication的start方法。 Spark submit 提交集群 Spark提交集群命令 spark-submit -- 阅读全文

posted @ 2022-05-03 21:36 608088 阅读(313) 评论(0) 推荐(0)

Spark 源码系列 - SparkContext启动 - 运行模式

摘要：结论 SparkContext启动，根据setMaster设置的Url匹配运行模式。 SparkContext // 根据设置的master字符串的内容进行匹配 master match { // local模式 case "local" => ... ... // local[n] 和 local 阅读全文

posted @ 2022-05-03 18:20 608088 阅读(82) 评论(0) 推荐(0)

Spark 源码系列 - SparkConf本质

摘要：结论 SparkConf设置的key / value 保存在SparkConf名为settings的变量中，该变量类型为ConcurrentHashMap SparkConf的setXX方法, 封装了特定的属性名和值存储到map中 SparkConf的set方法，直接将属性名和值存储到map中。属阅读全文

posted @ 2022-05-03 18:07 608088 阅读(204) 评论(0) 推荐(0)

Spark 源码系列 - 目录

摘要：版本本分析基于Spark version 3.1.2 Spark相关 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.12</artifactId> <version>3.1.2</version> 阅读全文

posted @ 2022-05-03 17:58 608088 阅读(83) 评论(0) 推荐(0)

Spark 源码系列 - textFile 获取分区数

摘要：结论 local模式下，没有显示指定分区数(minPartitions)，默认最小分区数不会超过2。如果对spark.default.parallelism属性赋值 && 值>=2，则分区数为2. 其他情形分区数为1. 集群模式下，没有显示指定分区数(minPartitions)，分区数(minP 阅读全文

posted @ 2022-05-03 17:45 608088 阅读(260) 评论(0) 推荐(0)

公告