摘要: Spark日志排查指南 本文基于Spark2.1.0版本整理,采用Yarn作为集群管理器 Spark 程序的日志根据 spark 程序所在的阶段需要去不同的地方查看 程序运行过程中,可以通过程序本身的Web UI查看运行时日志。(PS: Spark的Web UI信息是任务运行过程中记录在内存中的详细 阅读全文
posted @ 2020-11-16 11:21 行道风语 阅读(1462) 评论(0) 推荐(0) 编辑
摘要: 本文主要通过源码解读探究Hive Metastore客户端自动重连机制的实现,同时为Hive的运维管理提供此功能相关的参数配置指导 阅读全文
posted @ 2020-10-29 19:45 行道风语 阅读(2239) 评论(0) 推荐(1) 编辑