业余砖家

摘要： 一、调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。 二、数据倾斜发生时的现象 绝大多数task执行得都非常快，但个别task执行极慢。比如， 阅读全文

摘要： 在初期阶段，项目团队只使用了少量HBase节点以满足基本的读写需求。随着数据量的增加和业务需求的复杂化，HBase集群扩展到了几十个节点。此时，性能问题逐渐暴露出来：如读写延迟增大、热点问题严重等。为了应对这些挑战，项目团队逐步引入了一系列优化措施，并通过持续的调优，显著提升了HBase集群的性能。 阅读全文

摘要： 1.1、介绍Hadoop 广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。 狭义上说，Hadoop指Apache这款开源框架，它的核心组件有： (1)、HDFS（分布式文件系统）：解决海量数据存储； (2)、YARN（作业调度和集群资源管理的框架）：解决资源任务调度； (3) 阅读全文

摘要： 在搭好HA集群之后，想测试一下集群的高可用性，于是先把active的namenode给停掉： hadoop-daemon.sh stop namenode 或者直接kill掉该节点namenode的对应进程也可。 但是通过hdfs haadmin -getServiceState master1 查 阅读全文

摘要： 在MySQL中，如果你想要将一行数据的多列值放到另一列的多个行中，你可以使用一个辅助表（例如，使用nums表）来生成序列，然后与你的原始表进行联接。 比如下面一行一行数据，包含col1~col5总共5列，现在需要将这5类转换到一列中。 转换前的数据： 转换后的结果： 以下是一个示例： 首先，创建一个 阅读全文

摘要： 我们常常会用到堆积柱状图，每个色块都可以显示数值，那如何在图上显示加总数据呢？今天分享一个小方法。以2024年前三周手机销量为例：首先将数据整理如下，最后一列求和。 2. 选择所有数据(含合计)绘制堆积柱状图，并选中“合计”的柱状图，右键添加数据标签。 3. 选择“合计”色块的数据标签，设置数据标签 阅读全文

摘要： 实现功能：通过openpyxl读取Excel，并将数据写入MySQL表中。 说明： Excel中首行必须为表中的字段名称。因为向MySQL插入数据使用的是Insert 语句，插入的字段就是读取第一行的数据。 Python代码： import pymysql from openpyxl import 阅读全文

摘要： Openpyxl介绍 在数据处理和分析的过程中，Excel文件由于其直观的表格形式以及易操作的特点，被广泛应用于各个行业和领域。而Python作为一种强大的编程语言，自然也提供了多种处理Excel文件的库。其中，openpyxl库就是专门用于读写.xlsx文件的Python库。本文将详细介绍如何使用 阅读全文

摘要： 实现功能： Pandas读取Excel中数据写入MySQL的表中。 MySQL表结构： CREATE TABLE `test_excel_to_mysql` ( `ast_id` varchar(100) DEFAULT NULL , `equip_name` varchar(100) DEFAUL 阅读全文

摘要： 背景 在数据中台中，有时为了核对数据，需要每天批量统计MySQL数据库中表的数据量，但是DMS中没有周期调度功能。 MySQL创建表 --统计的表清单 CREATE TABLE `dws_table_list` ( `table_name` varchar(255) DEFAULT NULL, `f 阅读全文