12 2017 档案

Spark RDD 窄依赖研究
摘要：1.. 简介 spark从RDD依赖上来说分为窄依赖和宽依赖。 其中可以这样区分是哪种依赖：当父RDD的一个partition被子RDD的多个partitions引用到的时候则说明是宽依赖，否则为窄依赖。 宽依赖会触发shuffe，宽依赖也是一个job钟不同stage的分界线。 本篇文章主要讨论一下 阅读全文

posted @ 2017-12-15 15:23 xf-xrh-xf 阅读(321) 评论(0) 推荐(0)

使用IDEA进行打包
摘要：使用IDEA打jar包： 1. 阅读全文

posted @ 2017-12-04 10:39 xf-xrh-xf 阅读(167) 评论(0) 推荐(0)

导航