sparkstreaming数据源端口号的开启及项目创建需要导入的依赖

安装nc

yum install -y nc

说明

-l, --listen               Bind and listen for incoming connections
-k, --keep-open            Accept multiple connections in listen mode

使用

nc -lk 端口号

项目创建需要导入的依赖

• 只需要导入spark-streaming依赖即可，spark-core包会自动导入，但是spark-sql包不会导入，如果要导入，需要引入依赖

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.11</artifactId>
    <version>2.3.1</version>
</dependency>