摘要：
推送式 将flume采集的数据主动推送给Spark程序，容易导致Spark程序接受数据出问题，推送式整合是基于avro端口下沉地方式完成 引入SparkStreaming和Flume整合的依赖 <dependency> <groupId>org.apache.spark</groupId> <art 阅读全文
posted @ 2022-08-31 19:45
jsqup
阅读(119)
评论(0)
推荐(0)
摘要：
sparkstreaming创建有两种方式 1. 借助SparkConf对象创建 val conf = new SparkConf().setAppName("streamingContext").setMaster("local[4]") /** * streamingcontext第一种创建方式 阅读全文
posted @ 2022-08-31 16:47
jsqup
阅读(180)
评论(0)
推荐(0)
摘要：
端口 // 地址，端口号，级别(将数据存储在所设置的级别中，这里设置级别为spark的内存) val ds: DStream[String] = ssc.socketTextStream("node1", 44444, StorageLevel.MEMORY_ONLY) 读取HDFS中的数据 imp 阅读全文
posted @ 2022-08-31 16:29
jsqup
阅读(30)
评论(0)
推荐(0)
摘要：
安装nc yum install -y nc 说明 -l, --listen Bind and listen for incoming connections -k, --keep-open Accept multiple connections in listen mode 使用 nc -lk 端 阅读全文
posted @ 2022-08-31 15:17
jsqup
阅读(28)
评论(0)
推荐(0)
浙公网安备 33010602011771号