随笔分类 -  hadoop开发

记录学习hadoop的笔记
Yarn
摘要： 阅读全文
posted @ 2022-10-15 14:17 风乐 阅读(30) 评论(0) 推荐(0)
MapReduce执行流程
摘要：hadoop中map分治执行流程: 阅读全文
posted @ 2022-10-15 14:08 风乐 阅读(26) 评论(0) 推荐(0)
HDFS上传文件
摘要：上传文件流程图,要点都在图上 阅读全文
posted @ 2022-10-07 15:33 风乐 阅读(56) 评论(0) 推荐(0)
HDFS基本架构与数据写入流程
摘要：HDFS官方架构图,清晰明了 主角色,要注意的是NameNode因为它的特性使得它是HDFS的唯一访问入口 主角色辅助角色,要注意的是SecondaryNameNode不是NameNode的备份,而是它的"秘书",协助其完成工作 DataNode职责第三点有意思:NameNode不持久存储块的位置信 阅读全文
posted @ 2022-09-23 15:34 风乐 阅读(43) 评论(0) 推荐(0)
集群启停以及WebUI
摘要：启动后可用jps查看进程是否启动成功 阅读全文
posted @ 2022-09-14 14:04 风乐 阅读(28) 评论(0) 推荐(0)
hadoop集群简介
摘要： 阅读全文
posted @ 2022-09-13 17:34 风乐 阅读(35) 评论(0) 推荐(0)
简单概念
摘要：分布式：多台机器每台机器上部署不同组件集群：多台机器每台机器上部署相同组件海量数据处理：存储：多台机器分布式存储计算：多台机器分布式计算 阅读全文
posted @ 2022-09-12 23:17 风乐 阅读(28) 评论(0) 推荐(0)