distinct

这个很简单，就是取rdd中的唯一值

val data1 = sc.parallelize(List(1,2,3,2,3,2,2))
data1.distinct().collect

输出123

 

注意，可以调整执行并行度

即

data1.distinct().collect

这样就会按三个partition进行并行执行，理论上会比默认的两个partition会快一些