2018年11月23日

大数据入门到精通7--对复合value做reducebykey

摘要：培训系列7--对复合value做reduce 1.做基础数据准备 val collegesRdd= sc.textFile("/user/hdfs/CollegeNavigator.csv")val header= collegesRdd.first val headerlessRdd= colle 阅读全文

posted @ 2018-11-23 16:48 David_Zhu 阅读(245) 评论(0) 推荐(0)

大数据入门到精通6---spark rdd reduce by key 的使用方法

摘要： 1.前期数据准备（同之前的章节） val collegesRdd= sc.textFile("/user/hdfs/CollegeNavigator.csv")val header= collegesRdd.first val headerlessRdd= collegesRdd.filter( l 阅读全文

posted @ 2018-11-23 11:59 David_Zhu 阅读(383) 评论(0) 推荐(0)

导航

2018年11月23日