摘要: @(目录导航) 详解Yarn基础架构及其设计思想 1.Hadoop Yarn 目录组织结构 YARN API(hadoop-yarn-api 目录):给出了 YARN 内部涉及的 4 个主要 RPC 协议的 Java 声明和 Protocol Buffers 定义,这 4 个 RPC 协议分别是 A 阅读全文
posted @ 2021-06-01 15:51 清风画扇 阅读(9844) 评论(3) 推荐(1)
摘要: @ 前言-MR概述 MapReduce是一个分布式计算框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。主要由两部分组成:编程模型和运行时环 境。其中,编程模型为用户提供了非常易用的编程接口,用户只需要像编写串行程序 一样实现几个简单的函数即可实现一个分布式程序,而其他比较复杂的工作,如 阅读全文
posted @ 2021-06-01 11:25 清风画扇 阅读(4352) 评论(0) 推荐(2)
摘要: @ Hadoop RPC 框架解析 网络通信模块是分布式系统中最底层的模块。它直接支撑了上层分布式环境下复杂的进程间通信(Inter-Process Communication, IPC)逻辑,是所有分布式系统的基础。远程过程调用(Remote Procedure Call, RPC)是一种常用的分 阅读全文
posted @ 2021-06-01 11:21 清风画扇 阅读(1601) 评论(0) 推荐(0)