摘要：
一、概述 在YARN中，应用程序和Container的状态变化会影响任务的执行和资源分配。下面是YARN中应用程序和Container的状态详细过程： 1）Application 状态 是指YARN应用程序的状态。每个应用程序都有一个唯一的Application ID，并且可以通过ResourceM 阅读全文
摘要：
一、概述 Hive是一个基于Hadoop的数据仓库解决方案，它提供了类似于SQL的查询语言，称为HiveQL，用于处理结构化数据。在Hive中，JOIN操作用于将两个或多个表中的数据连接在一起，以便进行联合查询和分析。 Hive 中 的 Join 可分为 Common Join（Reduce阶段完成 阅读全文
摘要：
一、概述 Hive是建立在Hadoop上的数据仓库工具，它允许用户通过类SQL的语法来查询和管理数据。在Hive中，DDL（数据定义语言）和视图操作是非常常见的。 1）表和视图关系 表和视图都是数据存储的逻辑表示方式。它们之间有以下关系： 视图可以基于一个或多个表创建，而表不可以基于其他表或视图创建 阅读全文
摘要：
一、概述 Hive是基于Hadoop的一个数据仓库工具，可以将结构化数据文件映射为一张数据库表，并提供类SQL语句操作。Hive内置了很多函数，可以满足基本的查询需求，同时还支持自定义函数(UDF)来实现更加灵活的操作。 官方文档：https://cwiki.apache.org/confluenc 阅读全文
摘要：
一、概述 在大数据处理过程中，Hive是一种非常常用的数据仓库工具。Hive分区和分桶是优化Hive性能的两种方式，它们的区别如下： 1）分区概述 Hive分区是把数据按照某个属性分成不同的数据子集。 在Hive中，数据被存储在HDFS中，每个分区实际上对应HDFS下的一个文件夹，这个文件夹中保存了 阅读全文
摘要：
一、前提条件 1、GitHub 账号 2、需要 openai 账号，因为需要使用到账号的中 API keys。 3、需要在 Vercel 注册账号，借助Vercel 来代理 ChatGPT Next-Web，ChatGPT Next-Web 其实就是基于 openai api 开发的web界面。 今 阅读全文
摘要：
@ 一、概述 在Linux系统中，目录的大小是动态的，随着其中的文件和子目录的添加、删除和修改而变化。当目录中的文件和子目录越来越多时，可能需要对该目录进行动态扩容，以便为其提供足够的空间。 以下是Linux目录动态扩容的概述： 确定当前目录的大小：使用命令du可以获取目录的大小信息。例如，运行命令 阅读全文
摘要：
一、概述 Zabbix和Prometheus都是开源监控系统，它们具有不同的特点和优势，因此很多人希望将它们集成在一起，以便充分利用它们的功能。以下是将Zabbix和Prometheus集成的一些步骤： 安装和配置Prometheus：在安装和配置Prometheus之前，需要先确定您要监控的目标。 阅读全文
摘要：
一、概述 GitLab是一个基于Web的Git存储库管理器，为软件开发提供完整的DevOps平台。它允许开发人员协作编写代码，管理项目，并自动化软件交付过程。GitLab提供广泛的功能，包括版本控制、问题跟踪、持续集成和部署、代码审查等等。 GitLab有两个版本：社区版和企业版。社区版是开源的，可 阅读全文
摘要：
一、概述 Harbor是一个开源的企业级Docker Registry管理工具，它提供了一个安全、可靠、可扩展的平台，用于存储、管理和分发Docker镜像。Harbor可以帮助组织和团队更好地管理Docker镜像，并提高应用程序构建和部署的效率。 以下是Harbor的一些主要特点： 安全：Harbo 阅读全文