spak 单词统计简单例子

spark默认页面UI 

对应配置文件

 

 

 

 

 

 

sh start-all.sh  启动命令

 

 

spark-shell启动

 

 jps看下多了一个sparksubmit进程

 

 

 

 启动后后台日志启动了job的页面

 

 

 

 --编写个本地文件 为了后面测试

 

 

装载到rdd中

 

 

 

 

单词统计第一种写法 

sc.textFile("/home/hadoop/a.txt").flatMap(_.split(" ")).map((_,1)).groupBy(_._1).mapValues(_.foldLeft(0)(_+_._2)).collect

 

 

 

 

单词统计第二种写法简单的 

 sc.textFile("/home/hadoop/a.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect