2021年6月14日
SQL -4
摘要： 7.上升的温度 需求：编写一个 SQL 查询，来查找与之前（昨天的）日期相比温度更高的所有日期的 Id。 结果展示： Id 2 4 建表语句： Create table If Not Exists Weather (Id int, RecordDate date, Temperature int); 阅读全文
posted @ 2021-06-14 21:42 青聪 阅读(79) 评论(0) 推荐(0)
HBase
摘要： HBase HBase简介 Hbase是一种分布式、可扩展、支持海量存储的NoSQL数据库。 基于Hadoop可分布式,基于HDFS可扩展,可存储数十亿行百万列海量数据。 说明： HBase的数据虽然存储在HDFS上,且HDFS只支持追加写而不支持随机写，但HBase通过技术手段实现随机、实时读写。 阅读全文
posted @ 2021-06-14 18:18 青聪 阅读(345) 评论(0) 推荐(0)
2021年6月9日
SQL -3
摘要： 4.从不订购的客户 需求：某网站包含两个表,Customers表和Orders表，编写SQL查询，找出所有从不订购商品的客户。 展示效果： Customers Henry Max 建表语句： Create table If Not Exists Customers (Id int, Name var 阅读全文
posted @ 2021-06-09 22:48 青聪 阅读(59) 评论(0) 推荐(0)
2021年6月8日
SQL - 2
摘要： 2. 分数排名 需求：通过SQL查询实现分数排名，如果两个分数相同，则两个分数排名相同，要求名次之间不能有间隔。 展示效果： Score Rank 4.00 1 4.00 1 3.85 2 3.65 3 3.65 3 3.50 4 建表语句： Create table If Not Exists S 阅读全文
posted @ 2021-06-08 22:55 青聪 阅读(37) 评论(0) 推荐(0)
2021年6月3日
SQL - 1
摘要： 1.求员工薪水 需求一：获取 Employee 表中第二高的薪水（Salary）,如果不存在第二高的薪水，那么查询应返回 null。 结果： SecondHighestSalary 200 建表语句： Create table If Not Exists Employee (Id int, Sala 阅读全文
posted @ 2021-06-03 21:57 青聪 阅读(53) 评论(0) 推荐(0)
Redis
摘要： Redis Redis 概述： Redis是一种NoSQL非关系型内存数据库,数据没有预定义模式,都是KV值,没有声明性查询语言,基于乐观锁的松散事务控制。 支持多种数据结构,内置复制、LUA脚本、LRU驱动时间、事务、和不同级别的磁盘持久化，并通过哨兵和自动分区提供高可用。 应用场景： 缓存:将数 阅读全文
posted @ 2021-06-03 20:42 青聪 阅读(55) 评论(0) 推荐(0)
2021年6月1日
Flink CEP
摘要： Flink CEP CEP 复杂事件处理： 根据事件时间的时序关系和聚合关系定制检测规则,持续的从事件流中查询出符合需求的事件序列,分析后得到更复杂的复合事件。 说明： 1.CEP是支持事件乱序的,根据事件时间和WaterMark来判断数据的顺序。 2.Spark内部没有集成CEP,但是有解决方案, 阅读全文
posted @ 2021-06-01 18:28 青聪 阅读(727) 评论(0) 推荐(0)
Flink 容错机制
摘要： Flink 容错机制 状态的一致性: 故障处理成功之后恢复的数据与之前的数据相比的正确程度。 一致性级别： 'at-most-once'>最多一次,恢复之后可能会数据丢失。 'at-least-once'>至少一次,恢复之后可能会重复计算。 'exactly-once'>精准一次,故障后得到的计数结 阅读全文
posted @ 2021-06-01 16:46 青聪 阅读(366) 评论(0) 推荐(0)
Flink 状态
摘要： Flink 状态 Flink状态： 状态可以是历史结果,也可以是存储的数据,归根揭底是保存的内容就是状态。 流式计算分为有状态的和无状态的: 无状态的流处理:观察每个独立的事件,并根据最后一个事件的结果进行输出。 有状态的流处理:基于多个事件输出结果。流与流之间的关联操作、流与静态表或动态表之间的关 阅读全文
posted @ 2021-06-01 16:10 青聪 阅读(194) 评论(0) 推荐(0)
Flink 窗口函数
摘要： Flink 窗口机制 窗口概述: 窗口是Flink用来处理无界流的核心,窗口将流切成有界的桶,之后就可以在bucket基础上对数据计算。所以窗口的单位是桶。 为什么要使用窗口? 流式处理中数据都是源源不断的来,不可能等到所有数据都到了之后才开始计算,而我们可以定义一个时间段这个间隔内的数据进行计算, 阅读全文
posted @ 2021-06-01 16:01 青聪 阅读(1030) 评论(0) 推荐(1)