jsqup

2022年9月5日

摘要： package SparkSQL.fun.registerfum import org.apache.spark.SparkConf import org.apache.spark.sql.{Dataset, SparkSession} import scala.beans.BeanProperty 阅读全文

posted @ 2022-09-05 21:07 jsqup 阅读(62) 评论(0) 推荐(0)

开窗函数(javaAPI)

摘要： package SparkSQL.fun import org.apache.spark.SparkConf import org.apache.spark.sql.{Dataset, SparkSession} object PartitionCode { def main(args: Array 阅读全文

posted @ 2022-09-05 21:06 jsqup 阅读(112) 评论(0) 推荐(0)

parse_url函数

摘要：参数 path:路径/login host:www.baidu.com query:username=zs protocol:http协议 package SparkSQL.fun import org.apache.spark.SparkConf import org.apache.spark.s 阅读全文

posted @ 2022-09-05 20:51 jsqup 阅读(137) 评论(0) 推荐(0)

explode炸裂函数

摘要： package SparkSQL.fun import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession /** * _1 _2 * zs 60-70-90 * ls 70-80-90 * 求zs和ls的总成绩平阅读全文

posted @ 2022-09-05 20:49 jsqup 阅读(209) 评论(0) 推荐(0)

2022年9月2日

Zookeeper的客户端工具的使用

摘要：启动方式 zkCli.sh 通过简单的命令行代码操作zk文件系统 1. ls /路径：查找某一个节点下的子节点 2. get /路径：查询某一个节点的数据值阅读全文

posted @ 2022-09-02 15:58 jsqup 阅读(73) 评论(0) 推荐(0)

Zookeeper选举机制(需掌握)

摘要： 1. 第一次启动zk集群第一次启动的时候，每一个server会根据myid的大小进行投票选举，如果有半数以上的server投票选择了同一个节点，那么这个节点就会成为leader，剩余的节点全部成为follower. 会根据启动顺序和myid选择leader领导者，只有在启动中有半数以上的节点选择了阅读全文

posted @ 2022-09-02 15:47 jsqup 阅读(203) 评论(0) 推荐(0)

Zookeeper介绍

摘要： zookeeper文件系统组成 zookeeper本质上是文件系统+通知机制组成的 zookeeper文件系统说明树形的文件系统，在树形文件系统当中，每一个节点就是存储数据的位置，节点同时兼顾了文件和文件夹的功能。每个节点默认只能存储1MB的数据虽然说zookeeper中自带了一个文件系统，但阅读全文

posted @ 2022-09-02 15:30 jsqup 阅读(55) 评论(0) 推荐(0)

sparkstreaming行动算子

摘要：查看 // 默认是前10条 print(num) 保存数据一批次产生一个文件 package SparkStreaming.action import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.DStr 阅读全文

posted @ 2022-09-02 13:44 jsqup 阅读(92) 评论(0) 推荐(0)

sparkstreaming转换算子--窗口函数

摘要： window 画图理解说明 countByWindow 对每个滑动窗口的数据执行count操作 reduceByWindow 对每个滑动窗口的数据执行reduce操作 reduceByKeyAndWindow 对每个滑动窗口的数据执行reduceByKey操作 countByValueAndWin 阅读全文

posted @ 2022-09-02 12:42 jsqup 阅读(189) 评论(0) 推荐(0)

SparkStreaming中的转换算子2--有状态的转换算子updateStateByKey

摘要：将之前批次的状态保存， package SparkStreaming.trans import org.apache.spark.SparkConf import org.apache.spark.storage.StorageLevel import org.apache.spark.stream 阅读全文

posted @ 2022-09-02 12:13 jsqup 阅读(48) 评论(0) 推荐(0)

公告