161-《大数据架构师》实时数仓项目实战(二)maxweill全量导入和增量导入 hudi整合flink和hive 拆表逻辑 暂时没用

 

 


 

 

 

 

 

 

 

 

 hudi0.10自己进行编译

  

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 hudi中的数据映射到hive中

 

 

 

 将维度数据保存到redis

 

 通过maxwell全量同步(数据量不是很大的时候)

 

 

 

 数据量比较大的情况通过maxwell同步数据

建表需要加入导出条件字段

 

 这个是上面的例子加入导入条件

 

 拆表需要注意

 

 拆表代码

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

posted @ 2022-09-16 17:50  十一vs十一  阅读(116)  评论(0)    收藏  举报