随笔分类 -  Spark02

查看kafka在zookeeper中节点信息和查看方式
摘要：1.先到zookeeper的bin下面 2.输入命令./zkCli.sh 如下图： 3.输入命令 ls / 4.输入命令 ls /consumers 这个命令是消费者 还没有数据 5. 输入下图中的命令就能看到了 6. 阅读全文
posted @ 2019-08-17 23:24 lilixia 阅读(9068) 评论(0) 推荐(0)
Spark消费kafka的直连方式
摘要：spark消费kafka的两种方式 直连方式的两种 自动和手动 自动 自动偏移量维护kafka 0.10 之前的版本是维护在zookeeper中的,kafka0.10以后的版本是维护在kafka中的topic中的 案例： 注：先启动zookeeper 再启动kafka集群 命令： zkServer. 阅读全文
posted @ 2019-08-17 10:41 lilixia 阅读(5308) 评论(1) 推荐(1)
Streaming 累加器和广播变量 和sql
摘要：累加器和广播变量 如果你启用检查并也使用了累加器和广播变量，那么你必须创建累加器和广播变量的延迟单实例从而在驱动因失效重启后他们可以被重新实例化。 案例： package com.bw.streaming.day03 import org.apache.spark.{SparkConf, Spark 阅读全文
posted @ 2019-08-17 09:02 lilixia 阅读(478) 评论(0) 推荐(0)
sparkStreaming转换算子02
摘要：Union算子 Count算子 reduce算子 countByValue算子 Join算子 Transformation算子 *************************************************** updataStateByKey算子 窗口滑动 保存算子 阅读全文
posted @ 2019-08-16 21:08 lilixia 阅读(213) 评论(0) 推荐(0)
DStreams输入 从kafka消费数据 直连
摘要：基本数据源 文件数据源 自定义数据源 企业中如果没有合适的抓取数据的手段,可以通过继承 Receiver，并实现 onStart、onStop 方法来自定义数据源采集。 kafka版本的区别 http://spark.apache.org/docs/2.2.0/streaming-kafka-0-1 阅读全文
posted @ 2019-08-16 16:24 lilixia 阅读(303) 评论(0) 推荐(0)
DStreams 输出
摘要：输出操作指定了对流数据经转化操作得到的数据所要执行的操作(例如把 结果推入外部数据库或输出到屏幕上)。与 RDD 中的惰性求值类似，如果一 个 DStream 及 其 派 生 出 的 DStream 都 没 有 被 执 行 输 出 操 作 ， 那 么 这 些 DStream 就都不会被求值。如果 S 阅读全文
posted @ 2019-08-16 15:36 lilixia 阅读(220) 评论(0) 推荐(0)
sparkStreaming转换算子
摘要：map 代码--》集群 nc--》端口 9000 （可以修改） 替换 字 flatmap 切分压平 filter repartition union合并 【local【2】】 当只有两个的时候 只有一个分区 另一个处理数据集 count reduce ************************ 阅读全文
posted @ 2019-08-16 14:12 lilixia 阅读(411) 评论(0) 推荐(0)