09 2021 档案
Flink 关联 Hbase 非主键
摘要:Hbase 作为 Hadoop 全家桶中,非常重要的存储组件,适用于海量数据的随机查询,使用是非常广泛的。 实时数仓项目使用 Kafka 作为数仓的基础表,我们也会把 Kafka 的数据往 Hbase 写一份,方便其他场景使用,比如:做维表 Flink Hbase 表默认使用 TableScan 一 阅读全文
posted @ 2021-09-23 14:10 Flink菜鸟 阅读(1329) 评论(0) 推荐(0)
Flink Cumulate Window
摘要:flink CUMULATE 窗口 阅读全文
posted @ 2021-09-09 09:31 Flink菜鸟 阅读(4168) 评论(0) 推荐(0)
Flink sql 写 Hbase 忽略空列
摘要:数仓场景下,经常有两个表 Join 后往一个宽表写数据。比如:埋点数据中只包含 user_id,但是下游计算的需要使用用户的其他属性,就需要将埋点数据和用户数据做关联。 实时场景,需要做流表 Join,用埋点数据的 user_id 去全量用户表中取用户属性。 如果两部分数据产生的顺序不确定,可能先生 阅读全文
posted @ 2021-09-07 17:34 Flink菜鸟 阅读(1205) 评论(0) 推荐(0)