5.RDD操作综合实例
准备文件,上传到hdfs上
读文件创建RDD
分词
排除大小写,标点符号
统计词频
排序
输出到文件
查看结果
B.一句话实现
二TOP值
新建txt文件,将文件传上hdfs
对文件进行分词、去标点操作
将金额映射成键值对,注意values值为int类型
对键值对进行累加统计、排序
输出文件
查看结果
最大支付额的用户为7890用户
准备文件,上传到hdfs上
读文件创建RDD
分词
排除大小写,标点符号
统计词频
排序
输出到文件
查看结果
B.一句话实现
二TOP值
新建txt文件,将文件传上hdfs
对文件进行分词、去标点操作
将金额映射成键值对,注意values值为int类型
对键值对进行累加统计、排序
输出文件
查看结果
最大支付额的用户为7890用户