Binge - 和时间做朋友

摘要： 引言 SeaTunnel 和 Flume 都是数据集成工具，但它们的设计理念、架构和适用场景有很大不同。让我们来详细比较一下。 核心对比 从对比可以看出，Flume 比 SeaTunnel 更老旧，而且 Flume 官网已宣布在2024年10月10日停止维护了。 架构对比 Flume 架构（简单但有 阅读全文

摘要： 引言 Iceberg 是 Netflix（美国网飞）公司为了解决数据存储和计算引擎之间的适配的问题（即 Hive 在云上的痛点）开发的，2018年11月16日进入Apache孵化器，2020 年5月19日从孵化器毕业，成为 Apache 的顶级项目。 Hudi 是 Uber‌（美国优步）公司为了解决 阅读全文

摘要： 引言 打开 FLume 的官网，想必你可以看到以下内容： 意思很明确，Flume 项目不再维护了。 为何 Flume 停止维护了？ Flume 曾是大数据日志采集的主流工具，但近年来社区活跃度下降，直到在 2024-10-10 宣布停止维护，这背后主要原因包括项目成熟度、生态变化和替代工具的出现。‌ 阅读全文

摘要： lsof 简介 lsof（List Open Files）是Linux系统中用于查看当前系统打开文件的强大命令行工具。在Linux"一切皆文件"的设计理念下，lsof不仅能查看普通文件，还能监控网络连接、设备文件、管道、套接字等各类资源，是系统管理员和开发者的必备工具。 lsof 安装 yum in 阅读全文

摘要： 引言 初学数据仓库时，心中多少会有一个困惑。那就是后台服务器也就十几张表，为什么使用分层架构+维度建模搭建数仓时就要创建几十张甚至上百张表？这就好比发面馒头，放到蒸笼一蒸，个头就变大了不少。 那数据仓库是不是把一个简单的问题搞得更复杂了呀？ 呵呵，这正是数据仓库的分层架构+维度建模的核心价值所在。让 阅读全文

摘要： nohup （不挂断，但是前台执行） nohup 是 no hung up 的缩写，意思是不挂断 。 使用 Xshell 等Linux 客户端工具，远程执行 Linux 脚本时，有时候会由于网络问题，导致客户端失去连接，终端断开，脚本运行一半就意外结束了。这种时候，就可以用nohup 指令来运行指令 阅读全文

摘要： 引言 大数据数据仓库（数仓）是企业数据管理的核心，用于高效存储、处理和分析海量数据。基于Hive的设计结合了分层架构和维度建模，能提升数据查询性能、可维护性和业务价值。下面我将逐步介绍分层架构的原理、维度建模的方法，并提供基于Hive的实战示例。整个过程确保结构清晰，便于理解。 分层架构：数据仓库的 阅读全文

摘要： WMware Workstation 与 Virtual Box 比较 WMware Workstation 和 VirtualBox 都是常见的虚拟化工具，各有其优缺点。 1. 兼容性和支持的操作系统 VMware Workstation 支持主流的操作系统，包括Windows和Linux。对比V 阅读全文

摘要： 引言 单一职责原则（Single Responsibility Principle，SRP）是面向对象编程的核心原则之一，其宗旨是确保每个类、模块或方法只关注一个职责或功能。这一原则旨在提高代码的可读性、可维护性和扩展性。然而，单一职责原则的实际应用过程中，容易产生一些误区和挑战，尤其是何时适用这一 阅读全文

摘要： 打包方式一： 特点：将项目代码和依赖库打包在一个 Jar 包中（这种方式打包和部署简单，但是 Jar 包较大，上传服务器更慢） 项目的 pom.xml 文件添加SpringBoot 打包插件如下： <build> <plugins> <plugin> <groupId>org.springframe 阅读全文