Spark版wordcount，并根据词频进行排序

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by loushsh on 2017/10/9.
  */
object WordCount {

  def main(args:Array[String]): Unit ={
    val conf=new SparkConf()
    val sc=new SparkContext(conf)
    val line= sc.textFile(args(0))
    val count=line.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).repartition(1).saveAsTextFile(args(1))
  }
}


更多精彩内容，欢迎扫码关注以下微信公众号：大数据技术宅。大数据、AI从关注开始