文章分类 -  大数据

spark-sql on yarn关于UserGroupInformation初始化最早时机
摘要：最近调研了spark-sql on yarn时UserGroupInformation初始化最早时机，将spark-sql on yarn的整个提交流程阅读了一遍，确定了SparkSubmit类范围，对SparkSubmit进行了阅读和跟进，找出了关键的代码，如下图所示，lazy val secMg 阅读全文
posted @ 2024-08-31 22:36 属鼠哥 阅读(33) 评论(0) 推荐(0)
spark的SparkSubmit类关于Configuration的资源文件加载
摘要：在阅读 SparkSubmit 源代码时，重点关注 Configuration 的资源文件的加载情况，默认通过 new Configuration() 构造方法创建时，只会加载 core-default.xml 和core-site.xml文件，但是 SparkSubmit 中打印 Configur 阅读全文
posted @ 2024-08-31 16:16 属鼠哥 阅读(27) 评论(0) 推荐(0)