12 2018 档案

yarn的原理及MR在yarn上的执行
摘要：1.1 YARN 基本架构 YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceManager负责整 阅读全文
posted @ 2018-12-23 17:03 力扛九鼎 阅读(1619) 评论(0) 推荐(0)
大数据生态之 ——HDFS
摘要：大数据生态之 HDFS HDFS工作机制 客户端上传文件时，一方面由datanode存储文件内容，另一方面有namenode负责管理block信息（切块大小，副本数量，位于datanode上的位置信息） 一丶namenode的工作职责： a) 文件的路径 b) 文件的副本数量 c) 文件切块大小 d 阅读全文
posted @ 2018-12-16 18:26 力扛九鼎 阅读(195) 评论(0) 推荐(0)
spark 执行流程及各组件执行
摘要：Spark初始化： sbin/start-all.sh -> sbin/start-master.sh -> sbin/start-slaves.sh(ssh) Master和Worker主类启动，这两个主类都包含main方法 1.解析参数 2.创建ActorSystem，然后通过ActorSyst 阅读全文
posted @ 2018-12-09 16:06 力扛九鼎 阅读(559) 评论(0) 推荐(0)