2022年2月16日

Hudi数据管理

摘要： 一、表数据结构 一个hudi表的存储文件分为两类 .hoodie文件：由于CRUD的零散性，每一次的操作都会生成一个文件，这些小文件越来越多后，会严重影响HDFS的性能，Hudi设计了一套文件合并机制。.hoodie文件夹中存放了对应的文件合并操作相关的日志文件。 americas和asia相关的路 阅读全文

posted @ 2022-02-16 21:35 嘣嘣嚓 阅读(957) 评论(0) 推荐(0)

通过Spark读写Hudi

摘要： 这个更全：Spark 增删改查 Hudi代码 一、使用Hudi环境准备 1.安装HDFS分布式文件系统：存储Hudi数据 Hadoop 2.8.0 首次格式化：hdfs namenode -format ./hadoop-daemon.sh start namenode ./hadoop-daemo 阅读全文

posted @ 2022-02-16 21:27 嘣嘣嚓 阅读(3022) 评论(0) 推荐(0)

Hudi编译(0.10.1版本)

摘要： 一、编译 1.下载源码 https://www.apache.org/dyn/closer.lua/hudi/0.10.1/hudi-0.10.1.src.tgz 2.编译 mvn clean install -DskipTests -DskipITs -Dscala-2.11 -Dspark3 报 阅读全文

posted @ 2022-02-16 21:19 嘣嘣嚓 阅读(1517) 评论(0) 推荐(0)

Hudi初始

摘要： 一、Hudi是什么 Hudi（Hadoop Upserts anD Incrementals）：用于管理分布式文件系统DFS上大型分析数据集存储。 Hudi是一种针对分析型业务的、扫描优化的数据存储抽象，它能够使DFS数据集在分钟级的时延内支持变更，也支持下游系统对这个数据集的增量处理。 二、Hud 阅读全文

posted @ 2022-02-16 21:16 嘣嘣嚓 阅读(413) 评论(0) 推荐(0)

什么是数据湖？

摘要： 1.什么是数据湖？ 定义：一个以原始格式(通常是对象快或文件)存储数据的系统或存储库，通常是所有企业数据的单一存储 数据湖可以包括来自关系数据库的结构化数据(行和列)、半结构化数据(CSV、日志、XML、JSON)、非结构化数据(email、文档、pdf)和二进制数据(图像、音频、视频) 数据湖越来 阅读全文

posted @ 2022-02-16 21:13 嘣嘣嚓 阅读(726) 评论(0) 推荐(0)

导航