2019年11月21日
小记--------spark的两种提交模式
摘要： spark的两种提交模式：yarn-cluster 、 yarn-client 图解 阅读全文
posted @ 2019-11-21 23:48 二黑诶 阅读(184) 评论(0) 推荐(0)
小记--------spark的宽依赖与窄依赖分析
摘要： 窄依赖： Narrow Dependency ： 一个RDD对它的父RDD，只有简单的一对一的依赖关系。RDD的每个partition仅仅依赖于父RDD中的一个partition，父RDD和子RDD的partition之间的对应关系是一对一的。 宽依赖 shuffle Dependency : 本质 阅读全文
posted @ 2019-11-21 23:45 二黑诶 阅读(226) 评论(0) 推荐(0)