5.RDD操作实例

1.准备文件,上传到hdfs上

 

 2.读文件创建RDD

 

 3.分词

4.排除大小写，标点符号

 

 

5.统计词频

 

 6.排序

 

 7.保存输出到文件，查询

 

 

 B.一句话实现

 

 

 

 查看结果:

 

 Spark编程的特点:
1. 重要概念RDD
2. 在进行RDD一系列操作
3. RDD在遇到行动操作前的一系列RDD转换操作可流式实现

二、求Top值

网盘下载payment.txt文件，通过RDD操作实现选出Top3支付额的用户。

1. 丢弃不合规范的行：
   • 空行
   • 少数据项
   • 缺失数据
2. 按支付金额排序
3. 取出Top3