随笔分类 -  Hdfs

大数据
摘要：大数据 存储 parquet头 avro头 mapreduce 写入hdfs过程mv几次 2.x mv3次 3.x mv2次 shuffle过程作用 数据文件，索引文件 partitioner作用 调度 资源调度 应用调度 阅读全文
posted @ 2022-01-18 21:34 Yu\.W 阅读(39) 评论(0) 推荐(0)
BlockUC和Replica
摘要：/** * Block replica states, which it can go through while being constructed. */ enum ReplicaState { /** Replica is finalized. The state when replica i 阅读全文
posted @ 2022-01-10 14:14 Yu\.W 阅读(63) 评论(0) 推荐(0)
Hdfs Namenode Namespace分析
摘要：Namenode上主要占用内存的实例 org.apache.hadoop.hdfs.server.namenode.INodeFile org.apache.hadoop.hdfs.server.blockmanagement.BlockInfoContiguous org.apache.hadoo 阅读全文
posted @ 2021-12-08 14:19 Yu\.W 阅读(139) 评论(0) 推荐(0)
Hadoop HA中EditLogTailer的作用
摘要：分析EditTailer在namenode日志同步中的作用 阅读全文
posted @ 2021-12-08 14:19 Yu\.W 阅读(359) 评论(0) 推荐(0)
Hadoop HA主备切换导致JournalNode epoch增加的函数调用流程
摘要：切换至active namenode执行日志 2021-12-07 08:08:19,784 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Stopping services started for standby state 2 阅读全文
posted @ 2021-12-08 14:18 Yu\.W 阅读(909) 评论(0) 推荐(0)
Hdfs Active Namenode向JournalNode同步editlog流程
摘要：FSEditLog Active namenode进程上使用的类，达到条件后执行logSync()向journalnode同步最新的EditLog段 调用过程 FSEditLog.logSync(long mytxid) ->EditLogOutputStream.flush() ->EditLog 阅读全文
posted @ 2021-12-08 01:33 Yu\.W 阅读(314) 评论(0) 推荐(0)