摘要： Spark SQL 性能优化：从定位问题到解决数据倾斜 一份面向数据工程师的实战指南，覆盖 Spark SQL 任务优化的完整链路。 目录 理解 Spark SQL 执行过程 如何定位性能瓶颈 通用优化策略 数据倾斜：识别与处理 配置调优指南 实战案例复盘 优化检查清单 1. 理解 Spark SQ 阅读全文

摘要： Claude Code 安装 Claude HUD 完整指南 Claude HUD 是目前最受欢迎的 Claude Code 插件（22k+ stars），可在终端底部实时显示 context 用量、工具活动、Agent 状态和 Todo 进度，让你对 AI 编码会话一目了然。 什么是 Claude 阅读全文

摘要： 数仓分层设计的边界与权衡 本文整理自一次关于数仓分层设计的深度讨论，聚焦 DWD/DWS/ADS 三层之间的边界问题，以及在交易主题下各层设计的实际取舍。 一、两种分层模型的本质区别 模型 A：字段范围分层 DWD 清洗 + 标准化 + 维度关联（不聚合，不算口径） DWS 口径统一 + 指标定义（ 阅读全文

摘要： Apache Doris 是目前极其热门的新一代实时 MPP 分析型数据库。相比于 ClickHouse，Doris 在使用体验上极大地降低了用户的心智负担。以下是 Doris 与 ClickHouse 在几个核心概念上的横向对比： 一、 分片与副本：Doris 的 Partition、Bucket 阅读全文

摘要： ClickHouse 核心概念精讲：分片、副本、表与引擎 一、 分片（Shard）与副本（Replica）的概念 在 ClickHouse 中，分片和副本是实现分布式存储和高可用性的两大核心机制。 1. 分片（Shard）—— 解决“存不下”和“算得慢”的问题（水平扩展） 分片就是把一张大表的数据拆 阅读全文

摘要： 记一次移动硬盘修复 帮师弟装ubuntu，但是移动硬盘没拔，结果把系统撞到移动硬盘上去了。 硬盘无有用数据，但是插上windows无盘符显示。 磁盘管理 windows磁盘管理，删除其他分区，但是EFI分区无法删除。 参考链接 #运行 Diskpart list disk select disk N 阅读全文

摘要： 《Python 编程：从入门到实践》 二、变量和简单数据类型 运行.py时发生的事情 Python解释器读取整个程序，确定其中每个单词的含义。看到单词print时，解释器就会将括号中的内容打印到屏幕，而不会管括号中的内容是什么。 变量 变量名只能包含字母、数字和下划线。变量名可以字母或下划线打头，但 阅读全文

摘要： 详解 MySql InnoDB 中意向锁的作用 阅读全文

摘要： 并查集及其优化 并查集可以动态地连通两个点，可以非常快速判断两个点是否连通。假设存在 n 个节点，我们先将所有结点的 leader 标为自身；每次连接节点 i 和 j 时，我们可以将 i 的 leader 标记为 j ；每次要查询两个节点是否相连时，我们可以查找 i 和 j 的祖先是否最终为同一个。 阅读全文

摘要： HBase为什么可以实现毫秒级查询？ 大数据量的快速查询 HBase的region经过负载均衡，region相对均匀，每次只需要通过zk找到meta表，进而连接到所需的region。减少了数据的读取量。 HBase是按列族存储的，可以根据列族进一步减少读取的数据量。 HBase的row key是经过 阅读全文