随笔分类 -  Hudi

摘要:一、Timeline Hudi 的核心是维护不同时间对表执行的所有操作的事件表,这有助于提供表的即时视图,同时还有效地支持按到达顺序进行数据检索。 Hudi 包含以下组件∶ 1)Instant action∶在表上的操作类型 2)Instant time∶ 操作开始的一个时间戳,该时间戳会按照开始时 阅读全文
posted @ 2021-12-27 21:52 Shydow 阅读(1286) 评论(0) 推荐(0)
摘要:一、将Hudi数据同步到Hive 1)需要将编译好的hudi-hadoop-mr-bundle-0.10.0.jar,放到对应的环境中,../CDH/jars 和 ../CDH/lib/hive/lib下面,具体步骤可以参考Flink1.3.1+Hudi0.10初探 cd /app/hudi-0.1 阅读全文
posted @ 2021-12-26 01:52 Shydow 阅读(1509) 评论(0) 推荐(0)
摘要:一、hudi编译 1)下载0.10版本的hudi,因为cdh6..2自带spark是2.4.0版本的,需要改下代码,注释掉整个if内容,否则会报错 2)将编译完成的hudi-spark-bundle_2.11-0.10.0.jar放到spark home的jars下 # 编译mvn clean pa 阅读全文
posted @ 2021-12-25 12:33 Shydow 阅读(1826) 评论(1) 推荐(0)