Spark 2.x管理与开发-Spark Streaming-Spark Streaming基础（二）第一个小案例：NetworkWordCount

 

Spark 2.x管理与开发-Spark Streaming-Spark Streaming基础（二）第一个小案例：NetworkWordCount

（1）由于在本案例中需要使用netcat网络工具，所以需要先安装。

（2）启动netcat数据流服务器，并监听端口：1234

命令：nc -l -p 9999

服务器端：

（3）启动客户端

bin/run-example streaming.NetworkWordCount localhost 1234

客户端：

 

（一定注意）：如果要执行本例，必须确保机器cpu核数大于2

**********自己操作*********

演示官方Demo：

执行WordCount计数。往Spark Streaming中发送字符串，Spark接收到之后，计数。

使用消息服务器：netcat

如果没有就使用命令：yum install nc 进行安装即可（中间问问题就回答y即可）

注意：虚拟机处理器的数量一定要大于等于2

1.启动Linux的消息服务器：

[root@bigdata111 ~]# nc -l 1234

nc -l :以监听的模式启动

1234：它的端口号

启动好了之后就会悬停在哪里进行监听

2.现在执行Example

[root@bigdata111 bin]# ./run-example streaming.NetworkWordCount localhost 1234

 

3.现在写一些数据，Spark就会读取到并计算出个数：

 

这样就是通过nc服务器将数据都传给了1234端口，然后Spark就会从1234端口读数据。