2019年3月26日
创建Spark执行环境SparkEnv
摘要： SparkDriver 用于提交用户的应用程序， 一、SparkConf 负责SparkContext的配置参数加载， 主要通过ConcurrentHashMap来维护各种`spark.*`的配置属性 class SparkConf(loadDefaults: Boolean) extends Cl 阅读全文
posted @ 2019-03-26 23:44 宝哥大数据 阅读(779) 评论(0) 推荐(0)
剖析Spark-Shell
摘要： 打开spark-shell，我们可以看到 function main() { if $cygwin; then stty -icanon min 1 -echo > /dev/null 2>&1 export SPARK_SUBMIT_OPTS="$SPARK_SUBMIT_OPTS -Djline 阅读全文
posted @ 2019-03-26 08:55 宝哥大数据 阅读(221) 评论(0) 推荐(0)