摘要：
MapReduce思考问题（每一个都算面试题） Q1、map数量数越多越好吗？ 不是，因为产生map任务是需要资源和时间，map任务越多，占用的资源和时间越多 Q2、hdfs是否适合存储小文件（MR角度出发） 不适合，小文件一多，意味着block块就多了，切片split也就多了，这样产生的map数量 阅读全文
posted @ 2024-05-15 19:49
peculiar-
阅读(43)
评论(0)
推荐(0)
摘要：
MapReduce思考问题（每一个都算面试题） Q1、map数量数越多越好吗？ 不是，因为产生map任务是需要资源和时间，map任务越多，占用的资源和时间越多 Q2、hdfs是否适合存储小文件（MR角度出发） 不适合，小文件一多，意味着block块就多了，切片split也就多了，这样产生的map数量 阅读全文
posted @ 2024-05-15 17:04
peculiar-
阅读(35)
评论(0)
推荐(0)
摘要：
Hadoop高可用架构 高可用架构有两个NameNode节点，一个是ActiveNameNode（ANN），一个是StandbyNameNode（SNN），高可用框架中只有一个活跃的NameNode节点，但是备用SNN会持续关注整个集群，并每隔一段时间向JournalNode集群同步日志，SNN也会 阅读全文
posted @ 2024-05-15 16:47
peculiar-
阅读(21)
评论(0)
推荐(0)
摘要：
HDFS写数据宏观流程 客户端使用rpc通信框架向NameNode发送请求，NameNode接收并处理用户请求，同时检测用户是否拥有上传文件操作的权限。磁盘空间是否可用，路径是否存在， NameNode会针对这个文件创建一个空的Entry对象，并返回成功的状态给DFS， 如果DFS接收到成功的状态， 阅读全文
posted @ 2024-05-15 16:28
peculiar-
阅读(17)
评论(0)
推荐(0)
浙公网安备 33010602011771号