5.RDD操作综合实例

 

一、词频统计

 a.分步骤实现

 

  1. 准备文件
    1. 下载小说或长篇新闻稿
    2. 上传到hdfs上
  2. 读文件创建RDD

     

     

  3. 分词

     

     

  4. 排除大小写，标点符号，停用词

     

     

     

     

     

     

  5. 统计

     

     

     

     

  6. 排序

     

     


     

  7. 输出到文件

     

     

  8. 查看结果

b.一句话实现

 

 

 

 

 

posted @ 2022-03-25 02:50  yanguanx  阅读(36)  评论(0)  编辑  收藏  举报