随笔分类 - Hudi
摘要:一、Timeline Hudi 的核心是维护不同时间对表执行的所有操作的事件表,这有助于提供表的即时视图,同时还有效地支持按到达顺序进行数据检索。 Hudi 包含以下组件∶ 1)Instant action∶在表上的操作类型 2)Instant time∶ 操作开始的一个时间戳,该时间戳会按照开始时
阅读全文
摘要:一、将Hudi数据同步到Hive 1)需要将编译好的hudi-hadoop-mr-bundle-0.10.0.jar,放到对应的环境中,../CDH/jars 和 ../CDH/lib/hive/lib下面,具体步骤可以参考Flink1.3.1+Hudi0.10初探 cd /app/hudi-0.1
阅读全文
摘要:一、hudi编译 1)下载0.10版本的hudi,因为cdh6..2自带spark是2.4.0版本的,需要改下代码,注释掉整个if内容,否则会报错 2)将编译完成的hudi-spark-bundle_2.11-0.10.0.jar放到spark home的jars下 # 编译mvn clean pa
阅读全文

浙公网安备 33010602011771号