flink批处理第一个代码WordCount

import org.apache.flink.api.scala.ExecutionEnvironment
import org.apache.flink.api.scala._
object WordCount {
  /**
   * 第一个flink,wordcount
   * @param args
   */
  def main(args: Array[String]): Unit = {

    //创建一个批处理的执行环境
    val env:ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
    //从文件中读取数据
    val inputPath:String = "D:\\ideaDemo\\maven_flink\\src\\main\\resources\\hello.txt"
    val inputDataSet: DataSet[String] = env.readTextFile(inputPath)

    //对数据进行转换处理统计
    val resultDataSet:DataSet[(String,Int)] = inputDataSet
      .flatMap(_.split(" "))
      .map((_,1))
      .groupBy(0)  //以第一个元素分组
      .sum(1) //以第二个元素求和

    resultDataSet.print()
  }
}

 

posted @ 2021-06-24 18:46  nohert  阅读(69)  评论(0)    收藏  举报