2023年1月30日
SQL练习：计算用户的平均次日留存率（DATEDIFF）
用DATEDIFF简单的实现计算用户的平均次日留存率 DATEDIFF函数介绍 用于计算计算两个DATE，DATETIME或TIMESTAMP值之间的天数 # 用法 DATEDIFF(date1,date2) #例子 mysql> SELECT DATEDIFF('2023-01-30','2023 Read More
posted @ 2023-01-30 23:02 MrSponge Views(762) Comments(0) Diggs(0)
SQL练习：UNION实现多张表的纵向合并
左、内、右连接可以实现多表横向合并，而UNION关键字则可以实现多表纵向合并 UNION：实现多表纵向合并（默认含去重功能） <sql查询语句1> UNION <sql查询语句2> UNION ... UNION <sql查询语句n> UNION ALL：实现多表纵向合并（不含去重功能） <sql查 Read More
posted @ 2023-01-30 21:38 MrSponge Views(1523) Comments(0) Diggs(0)
2023年1月29日
创建Spark-Core项目
SparkCore 是整个Spark 框架的核心，其他都是在此基础上扩展API 第一步，打开IDEA，新建Maven项目 第二步，增加 Scala 插件(前提：一配置好scala环境) 注意版本，Spark3.0 版本最好用 Scala2.12 版本（文本末尾有scala 环境安装包） 第三步，添加 Read More
posted @ 2023-01-29 10:30 MrSponge Views(80) Comments(0) Diggs(0)
2023年1月22日
Flink消费Kafka：Timeout of 60000ms expired before the position for partition tv_log-1 could be determined
**Timeout of 60000ms expired before the position for partition tv_log-1 could be determined** 大概意思：消费kafka，在某个分区连接超时超时了60000ms 这个时候首先要检查：C:\Windows\Sy Read More
posted @ 2023-01-22 13:27 MrSponge Views(5570) Comments(0) Diggs(0)
2023年1月15日
java.math.BigDecimal cannot be cast to java.lang.Float
大致意思：BigDecimal类型不能直接强行转换成Float类型 当我用FlinkCDC监听数据库，对获取到的数据进行转换计算时，发生了这个报错，下面是我的代码 Float rating= (Float) valueJson.get("rating"); 解决方法：BigDecimal -> St Read More
posted @ 2023-01-15 16:01 MrSponge Views(938) Comments(0) Diggs(0)
FlinkCDC的自定义反序列化
Flink CDC 1、CDC 简介 1.1 什么是CDC ​ CDC 是Change Data Capture（变更数据获取）的简称。核心思想是，监测并捕获数据库 的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录 下来，写入到消息中间件中以供其他服务进行订阅及消费。 Read More
posted @ 2023-01-15 15:12 MrSponge Views(1562) Comments(0) Diggs(0)
2023年1月9日
Flink安装部署
Flink安装部署 local本地模式-了解 原理 操作 1.下载安装包 https://archive.apache.org/dist/flink/ 2.上传flink-1.13.1-bin-scala_2.12.tgz到node1的指定目录 3.解压 tar -zxvf flink-1.13.1 Read More
posted @ 2023-01-09 15:50 MrSponge Views(807) Comments(0) Diggs(1)
Flink的状态
State-理解原理即可 Flink中状态的自动管理 之前写的Flink代码中其实已经做好了状态自动管理,如 发送hello ,得出(hello,1) 再发送hello ,得出(hello,2) 说明Flink已经自动的将当前数据和历史状态/历史结果进行了聚合,做到了状态的自动管理 在实际开发中绝大 Read More
posted @ 2023-01-09 15:44 MrSponge Views(88) Comments(0) Diggs(0)
Flink合流操作
合流 1、概念 将不同流中的数据汇聚在一起，然后可以进行一个统计等相关操作。 2、基本合流操作 union和connect union算子可以合并多个同类型的数据流，并生成同类型的数据流，即可以将多个DataStream[T]合并为一个新的DataStream[T]。数据将按照先进先出（First Read More
posted @ 2023-01-09 15:40 MrSponge Views(266) Comments(0) Diggs(0)
Flink设置Source数据源
流处理说明 有边界的流bounded stream:批数据 无边界的流unbounded stream:真正的流数据 Source 基于集合 package com.pzb.source; import org.apache.flink.api.common.RuntimeExecutionMode Read More
posted @ 2023-01-09 15:39 MrSponge Views(486) Comments(0) Diggs(0)