书灯 - 博客园

2017年7月18日

摘要： import org.apache.spark.{SparkConf, SparkContext} /** * Created by yz02 on 2017/6/15. */ object T_filter { System.setProperty("hadoop.home.dir","F:\\h 阅读全文

posted @ 2017-07-18 11:39 书灯阅读(6) 评论(0) 推荐(0)

spark--transform算子--distinct

摘要： import org.apache.spark.{SparkConf, SparkContext} /** * Created by liupeng on 2017/6/16. */ object T_distinct { System.setProperty("hadoop.home.dir"," 阅读全文

posted @ 2017-07-18 11:15 书灯阅读(6) 评论(0) 推荐(0)

2017年7月17日

spark--transform算子--cogroup

摘要： import org.apache.spark.{SparkConf, SparkContext} /** * Created by yz02 on 2017/6/16. */ object T_cogroup { System.setProperty("hadoop.home.dir","F:\\ 阅读全文

posted @ 2017-07-17 17:56 书灯阅读(16) 评论(0) 推荐(0)

spark--transform算子--coalesce

摘要： import org.apache.spark.{SparkConf, SparkContext} import scala.collection.mutable.ArrayBuffer /** * Created by yz02 on 2017/6/15. */ object T_coalesce 阅读全文

posted @ 2017-07-17 17:52 书灯阅读(11) 评论(0) 推荐(0)

spark--transform算子--cartesian

摘要： import org.apache.spark.{SparkConf, SparkContext} /** * Created by lp on 2017/6/16. */ object T_cartesian { System.setProperty("hadoop.home.dir","F:\\ 阅读全文

posted @ 2017-07-17 17:47 书灯阅读(8) 评论(0) 推荐(0)

2017年7月13日

spark--actions算子--takeSample

摘要： import org.apache.spark.{SparkConf, SparkContext} /** * Created by yz02 on 2017/6/16. */ object A_takeSample { System.setProperty("hadoop.home.dir","F 阅读全文

posted @ 2017-07-13 09:41 书灯阅读(14) 评论(0) 推荐(0)

spark--actions算子--takeOrdered

摘要： import org.apache.spark.{SparkConf, SparkContext} /** * Created by liupeng on 2017/6/16. */ object A_takeOrdered { System.setProperty("hadoop.home.dir 阅读全文

posted @ 2017-07-13 09:37 书灯阅读(12) 评论(0) 推荐(0)

spark--actions算子--saveAsTextFile

摘要： import org.apache.hadoop.io.compress.GzipCodec import org.apache.spark.{SparkConf, SparkContext} /** * Created by liupeng on 2017/6/16. */ object A_sa 阅读全文

posted @ 2017-07-13 09:35 书灯阅读(18) 评论(0) 推荐(0)

spark--actions算子--saveAsObjectFile

摘要： import org.apache.spark.{SparkConf, SparkContext} /** * Created by liupeng on 2017/6/16. */ object A_saveAsObjectFile { System.setProperty("hadoop.hom 阅读全文

posted @ 2017-07-13 09:28 书灯阅读(20) 评论(0) 推荐(0)

2017年7月12日

spark--actions算子--reduce

摘要： import org.apache.spark.{SparkConf, SparkContext} /** * Created by liupeng on 2017/6/16. */ object A_reduce { System.setProperty("hadoop.home.dir","F: 阅读全文

posted @ 2017-07-12 18:32 书灯阅读(11) 评论(0) 推荐(0)

书灯

公告