09 2021 档案

摘要:一、业务数据表的增加,如何同步增加 二、做数仓主要是数据复用 三、事实数据和行为数据,放在kafka,维度表放在hbase,dws重难点join 行为数据,display,page,start,这三类行为日志,分发到不同主题去,通过flink侧输出流,用状态来区分新老用户, 业务数据,实现动态分流, 阅读全文
posted @ 2021-09-26 23:00 持枢 阅读(636) 评论(0) 推荐(0)
摘要:一、CDC概念 测并捕获数据库的变动,这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费 基于查询和binlog两种方式 二、FlinkCDC Flink社区开发了 flink-cdc-connectors 组件,这是一个可以直接从 MySQL、PostgreSQL 等数 阅读全文
posted @ 2021-09-20 21:26 持枢 阅读(2322) 评论(0) 推荐(0)