1.23学习总结:文件流

一、程序功能

监听指定目录下文件的变化过程,每10秒输出一次该文件中单词词频统计结果。

二、实现过程

定义一个DStream,创建一个文件流。首先将文件中的单词全部按空格拆分并汇总到一个RDD中,然后将RDD转化为(单词,1)的格式,使用reduceByKey()方法统计词频。以上步骤为DStream的处理流程,最后启动DStream,程序即可自动监听。

三、编程实现

 

posted @ 2021-01-23 14:21  Protect_Winter  阅读(58)  评论(0)    收藏  举报