摘要：
启动方式 zkCli.sh 通过简单的命令行代码操作zk文件系统 1. ls /路径：查找某一个节点下的子节点 2. get /路径：查询某一个节点的数据值 阅读全文
posted @ 2022-09-02 15:58
jsqup
阅读(52)
评论(0)
推荐(0)
摘要：
1. 第一次启动zk集群 第一次启动的时候，每一个server会根据myid的大小进行投票选举，如果有半数以上的server投票选择了同一个节点，那么这个节点就会成为leader，剩余的节点全部成为follower. 会根据启动顺序和myid选择leader领导者，只有在启动中有半数以上的节点选择了 阅读全文
posted @ 2022-09-02 15:47
jsqup
阅读(187)
评论(0)
推荐(0)
摘要：
zookeeper文件系统组成 zookeeper本质上是文件系统+通知机制组成的 zookeeper文件系统说明 树形的文件系统，在树形文件系统当中，每一个节点就是存储数据的位置，节点同时兼顾了文件和文件夹的功能。 每个节点默认只能存储1MB的数据 虽然说zookeeper中自带了一个文件系统，但 阅读全文
posted @ 2022-09-02 15:30
jsqup
阅读(36)
评论(0)
推荐(0)
摘要：
查看 // 默认是前10条 print(num) 保存数据 一批次产生一个文件 package SparkStreaming.action import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.DStr 阅读全文
posted @ 2022-09-02 13:44
jsqup
阅读(60)
评论(0)
推荐(0)
摘要：
window 画图理解 说明 countByWindow 对每个滑动窗口的数据执行count操作 reduceByWindow 对每个滑动窗口的数据执行reduce操作 reduceByKeyAndWindow 对每个滑动窗口的数据执行reduceByKey操作 countByValueAndWin 阅读全文
posted @ 2022-09-02 12:42
jsqup
阅读(146)
评论(0)
推荐(0)
摘要：
将之前批次的状态保存， package SparkStreaming.trans import org.apache.spark.SparkConf import org.apache.spark.storage.StorageLevel import org.apache.spark.stream 阅读全文
posted @ 2022-09-02 12:13
jsqup
阅读(32)
评论(0)
推荐(0)
摘要：
转换算子1 map,flatMap RDD支持的转换算子DStream大部分都是支持的 map、flatMap、filter、distinct、union、join、reduceByKey...... RDD中部分行动算子DStream会当作转换算子使用，算子的执行逻辑是一样的 package Sp 阅读全文
posted @ 2022-09-02 11:57
jsqup
阅读(31)
评论(0)
推荐(0)
浙公网安备 33010602011771号