08 2021 档案

2021.8.10 Hadoop学习
摘要：一、今日学习内容 HDFS - 可靠性 HDFS 的可靠性主要有以下几点: 冗余副本策略 机架策略 心跳机制 安全模式 效验和 回收站 元数据保护 快照机制 1.冗余副本策略 可以在 hdfs-site.xml 中设置复制因子指定副本数量 所有数据块都可副本 DataNode 启动时,遍历本地文件系 阅读全文
posted @ 2021-08-10 21:14 小仙女W 阅读(71) 评论(0) 推荐(0)
2021.8.1 Hadoop学习
摘要：MapReduce - 读取数据 通过InputFormat决定读取的数据的类型，然后拆分成一个个InputSplit，每个InputSplit对应一个Map处理，RecordReader读取InputSplit的内容给Map InputFormat 决定读取数据的格式，可以是文件或数据库等 功能 阅读全文
posted @ 2021-08-01 12:06 小仙女W 阅读(63) 评论(0) 推荐(0)