[置顶] HDFS 短路读取：mmap 与 Unix Domain Socket 铸就的零拷贝艺术
摘要： HDFS 短路读取：mmap 与 Unix Domain Socket 铸就的零拷贝艺术 在大数据时代，每一次数据读取都像一场隐形的马拉松。Spark 扫描百亿行 Parquet 文件、HBase 承受百万 QPS 查询、Hive 执行复杂聚合时，底层 I/O 的每一毫秒延迟、每一次 CPU 拷贝， 阅读全文
posted @ 2026-06-04 23:57 属鼠哥 阅读(8) 评论(0) 推荐(0)
2026年6月6日
HDFS 短路本地读取系列(二)：你以为的「本地读」和真正的「本地读」—getLegacy vs getBlockReaderLocal 的本质差异
摘要： HDFS 短路本地读取系列(二)：你以为的「本地读」和真正的「本地读」—getLegacy vs getBlockReaderLocal 的本质差异 导语：在 HDFS 的读取路径中，BlockReaderFactory.build() 是客户端选择读取策略的总入口。在这个四级降级链路中，第二级和第 阅读全文
posted @ 2026-06-06 23:26 属鼠哥 阅读(8) 评论(0) 推荐(0)
2024年8月31日
spark的SparkSubmit类关于Configuration的资源文件加载
摘要： 在阅读 SparkSubmit 源代码时，重点关注 Configuration 的资源文件的加载情况，默认通过 new Configuration() 构造方法创建时，只会加载 core-default.xml 和core-site.xml文件，但是 SparkSubmit 中打印 Configur 阅读全文
posted @ 2024-08-31 16:16 属鼠哥 阅读(36) 评论(0) 推荐(0)