业余砖家

2025年3月25日

摘要：一. AQE是什么？ 1、产生背景 Spark 2.x 在遇到有数据倾斜的任务时，需要人为地去优化任务，比较费时费力；如果任务在Reduce阶段，Reduce Task 数据分布参差不齐，会造成各个excutor节点资源利用率不均衡，影响任务的执行效率；Spark 3新特性AQE极大地优化了以上任阅读全文

posted @ 2025-03-25 11:18 业余砖家阅读(776) 评论(0) 推荐(0)

Spark OOM问题避免策略与示例说明

摘要： ‌一、资源调优‌ ‌增加Executor内存‌通过调整Executor内存参数，确保任务有足够资源处理数据： spark-submit --executor-memory 8G --driver-memory 2G ... # 示例命令‌ ‌场景示例‌：处理10TB级日志时，将executor-me 阅读全文

posted @ 2025-03-25 10:38 业余砖家阅读(161) 评论(0) 推荐(0)

滴滴数据仓库工程师面试题

摘要： ‌一、数据仓库基础与建模‌ ‌数仓分层设计‌ 请描述滴滴数仓分层架构及各层核心作用（如ODS、DWD、DWS、ADS）‌。 ‌1. ODS（Operational Data Store）层：原始数据层‌‌数据内容‌：直接从业务系统抽取的原始数据，包括订单流水、用户行为日志、司机接单记录、GPS轨迹等阅读全文

posted @ 2025-03-25 00:57 业余砖家阅读(658) 评论(0) 推荐(0)

2025年3月24日

Spark相关面试题

摘要： ‌一、Spark核心概念‌ 1、RDD的五大特性是什么？如何理解弹性分布式数据集？ RDD的五大特性包括：分区列表（Partitions）、依赖关系（Dependencies）、计算函数（Compute Function）、分区器（Partitioner）和优先位置（Preferred Locati 阅读全文

posted @ 2025-03-24 21:18 业余砖家阅读(306) 评论(0) 推荐(0)

Spark 组件在 Java 大数据开发中‌的常见报错及解决方案

摘要：以下是几个 ‌及解决方案，结合具体场景说明：案例1：Guava 依赖冲突导致 IllegalAccessError ‌报错信息‌：java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatc 阅读全文

posted @ 2025-03-24 15:43 业余砖家阅读(249) 评论(0) 推荐(0)

大数据Java开发中常见的报错

摘要：以下是一些 ‌大数据Java开发‌ 中常见的实际报错案例及解决方案，结合典型场景（如Hadoop、Spark、Flink等框架）说明： ‌案例1：HDFS文件写入权限不足‌ ‌报错信息‌：org.apache.hadoop.security.AccessControlException: Permi 阅读全文

posted @ 2025-03-24 15:39 业余砖家阅读(79) 评论(0) 推荐(0)

2025年3月21日

HBase 常见故障与解决方案

摘要： ‌1. RegionServer 宕机‌ ‌现象‌：RegionServer 进程异常退出，日志提示 ABORTING region server 或 long garbage collecting pause‌。 ‌原因‌： ‌内存不足‌：堆内存耗尽或 Full GC 时间过长‌。 ‌磁盘 I/O 阅读全文

posted @ 2025-03-21 11:28 业余砖家阅读(326) 评论(0) 推荐(0)

HDFS 常见故障与解决方案

摘要： 1. NameNode 元数据丢失或损坏‌ ‌现象‌：NameNode 无法启动，报错提示元数据文件缺失或校验失败‌。 ‌原因‌：误删元数据目录（dfs.name.dir）或多次格式化导致 namespaceID 不一致‌。 ‌解决‌：从 SecondaryNameNode 或备份的元数据目录（n 阅读全文

posted @ 2025-03-21 11:21 业余砖家阅读(463) 评论(0) 推荐(0)

HDFS 进入安全模式（SafeMode）的场景

摘要：一、被动触发（HDFS 自动进入）‌ ‌NameNode 启动阶段‌ ‌元数据加载‌：NameNode 启动时需加载元数据（镜像文件 fsimage 和编辑日志 edits），此时自动进入安全模式，直到元数据加载完成并完成完整性校验‌。 ‌DataNode 注册‌：DataNode 启动后向 Nam 阅读全文

posted @ 2025-03-21 10:56 业余砖家阅读(319) 评论(0) 推荐(0)

Hive CLI 与 Beeline 的区别

摘要： 1. 架构与连接方式‌ ‌对比项‌‌Hive CLI‌‌Beeline‌ ‌服务依赖‌ 直接访问 Metastore，无需启动额外服务‌ 需依赖 HiveServer2（HS2）服务‌ ‌通信协议‌ 本地模式（无网络协议）‌ 基于 JDBC/ODBC 协议，支持远程连接‌ ‌客户端类型‌ 单机客户端阅读全文

posted @ 2025-03-21 10:20 业余砖家阅读(161) 评论(0) 推荐(0)

没有比人更高的山，没有比脚更长的路。

公告