随笔分类 -  spark常见问题

spark在本地winsows环境下的安装问题
ERROR [HiveServer2-Background-Pool: Thread-85] spark.SparkTask: Failed to execute spark task, with exception 'java.lang.IllegalSt ateException(RPC channel is closed.)'
摘要：yarn跑hive的任务失败 这是hive的报错日志信息 由于资源不够导致动态生成分配资源失败，所以调优需谨慎！！！！ 这是执行失败的时候报的错 ERROR [HiveServer2-Background-Pool: Thread-85] spark.SparkTask: Failed to exe 阅读全文
posted @ 2022-07-31 18:56 新界王 阅读(1474) 评论(0) 推荐(0)
spark之shuffle
摘要：一、Shuffle的作用是什么？Shuffle的中文解释为“洗牌操作”，可以理解成将集群中所有节点上的数据进行重新整合分类的过程。其思想来源于hadoop的mapReduce,Shuffle是连接map阶段和reduce阶段的桥梁。由于分布式计算中，每个阶段的各个计算节点只处理任务的一部分数据，若下 阅读全文
posted @ 2022-07-22 15:52 新界王 阅读(1569) 评论(0) 推荐(0)