01 2020 档案

yarn的配置参数解释
摘要：属性名称默认值含义 spark.yarn.am.memory 512m client模式下，YARN Application Master使用的内存总量 spark.yarn.am.cores 1 client模式下，Application Master使用的cpu数量 spark.driver.c 阅读全文
posted @ 2020-01-16 15:09 鱼丸河粉 阅读(2974) 评论(0) 推荐(0)
spark-submit 参数说明
摘要：spark-submit 任务提交 spark-submit \--class sparksql.Oracle_Sqs_Hive \--master yarn \--deploy-mode cluster \/home/spark/333.jar 几个重要的参数说明: (1)executor_cor 阅读全文
posted @ 2020-01-10 17:15 鱼丸河粉 阅读(1045) 评论(0) 推荐(1)
Hive的webUI（hwi）配置-详解
摘要：官网（最好谷歌打开）：https://cwiki.apache.org/confluence/display/Hive/HiveWebInterface 注意官网内容：HWI is only available in Hive releases prior to 2.2.0. It was remo 阅读全文
posted @ 2020-01-08 16:12 鱼丸河粉 阅读(2050) 评论(0) 推荐(0)