161-《大数据架构师》实时数仓项目实战(二)maxweill全量导入和增量导入 hudi整合flink和hive 拆表逻辑 暂时没用




hudi0.10自己进行编译












hudi中的数据映射到hive中


将维度数据保存到redis

通过maxwell全量同步(数据量不是很大的时候)


数据量比较大的情况通过maxwell同步数据
建表需要加入导出条件字段

这个是上面的例子加入导入条件

拆表需要注意

拆表代码












hudi0.10自己进行编译












hudi中的数据映射到hive中


将维度数据保存到redis

通过maxwell全量同步(数据量不是很大的时候)


数据量比较大的情况通过maxwell同步数据
建表需要加入导出条件字段

这个是上面的例子加入导入条件

拆表需要注意

拆表代码







