07 2022 档案

SparkSubmit提交yarn流程分析（学习版）
摘要：SparkSubmit提交流程分析 tips：分析基于如下执行命令开始 ./spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ ./examples/ja 阅读全文
posted @ 2022-07-13 15:13 chief_y 阅读(462) 评论(0) 推荐(0)
HIVE参数大全
摘要：查询和 DDL 执行 reduce端优化 计算reduce数的公式： N=min（参数2，总输入数据量/参数1）, 即默认一个reduce处理1G数据量 set mapred.reduce.tasks=10 mapred.reduce.tasks 默认值：-1 添加于：Hive 0.1.0 每个作业 阅读全文
posted @ 2022-07-07 10:34 chief_y 阅读(766) 评论(0) 推荐(0)