今日总结12.24

2)数据流词频统计

使用Linux系统自带的NC程序模拟生成数据流,不断产生单词并发送出去。编写Flink程序对NC程序发来的单词进行实时处理,计算词频,并把词频统计结果输出。要求首先在IntelliJ IDEA中开发和调试程序,然后,再打成JAR包部署到Flink中运行。

 

2)数据流词频统计

 

 

仿照前面的WordCount项目的开发流程,在IntelliJ IDEA中新建一个项目,名称为“FlinkWordCount2”。新建一个pom.xml文件,内容和前面的WordCount项目中的pom.xml一样。新建一个代码文件WordCount.java.

 

 

先使用一个终端连接服务器,再启动NC程序:

IDEA中调试时,不断在刚才的终端命令行输入文字,结果如下。注意:如果先调试再启动nc程序会报错。

 

调试结果:

 

仿照前面的WordCount项目进行打包。上传至服务器中。

如下图所示,编译打包成功以后,可以看到生成的FlinkWordCount2.jar文件。

 

使用如下命令启动FlinkWordCount2词频统计程序。

 

然后,在NC程序窗口内,连续输入一些hello world

 

 

这时可以到浏览器中查看结果。在个人电脑中打开一个浏览器,在里面输入"http://hadoop:8081”  进入FlinkWEB管理页面,然后,点击左侧的“Task Managers",会弹出右边的新页面,在页面中点击链接。

 

 

至此实验完成.

 

posted @ 2023-12-24 22:51  庞司令  阅读(26)  评论(0)    收藏  举报