2020寒假生活学习日记（二）

使用 Spark Shell 编写代码

启动Spark Shell:

 

加载txt文件：

 

 

 简单的RDD操作：

//获取RDD文件textFile的第一行内容
textFile.first()

//获取RDD文件textFile所有项的计数
textFile.count()

//抽取含有“Spark”的行，返回一个新的RDD
val lineWithSpark = textFile.filter(line => line.contains("Spark"))

//统计新的RDD的行数
lineWithSpark.count()